VSLAM and 3D Reconstruction Using πMatch

Abstract

O algoritmo πMatch é um método de SLAM visual monocular baseado em pontos salientes, que recorre à informação dos planos da cena, para calcular o movimento da câmara e para fazer uma reconstrução baseada em planos. Contrastando com outros métodos do estado da arte baseados em pontos salientes, este recorre a correspondências afim, em vez de correspondências de pontos, permitindo eficiência na deteção de planos e na estimação de hipóteses de movimento. O movimento da câmara e os planos relevantes são selecionados e refinados com formulações de PEaRL, sendo a reconstrução final obtida a partir de uma segmentação da imagem baseada num Campo Aleatório de Markov (Markov Random Field - MRF).Esta tese propõe uma implementação em C++ do algoritmo $\pi$Match, originalmente implementado em Matlab, e importantes modificações em algumas das suas partes que permitiram acelerações computacionais significativas, preservando (ou mesmo melhorando) a precisão global e qualidade das reconstruções. Como primeira tarefa, foi feita uma tradução direta entre as linguagens Matlab e C++ para identificar os módulos do algoritmo com tempos computacionais inadequados. Assim, como problemas essenciais do algoritmo foram selecionados, o módulo de extração de correspondências afim e o módulo de segmentação da imagem em planos com MRF. Com o intuito de resolver estes problemas, são sugeridas versões alternativas destes módulos. O novo extrator de correspondências afim divide a imagem em blocos, tirando partindo da paralelização para alcançar melhores tempos computacionais. Por outro lado, o método inovador de segmentação baseada em MRF introduz o conceito de superpixel para reduzir a complexidade do problema, alcançando resultados semelhantes com um melhoramento extremo no tempo computacional. Todos os métodos alternativos sugeridos foram validados em testes comparativos com as respetivas versões originais. Por último, foi desenhada uma aplicação para incorporar o algoritmo, de modo a permitir uma fácil experimentação e visualização de resultados, usando o motor de jogo Unity 3D. Para provar o bom desempenho global do algoritmo foram realizadas experiências com o dataset KITTI, avaliando as estimações do movimento da câmara e da escala relativa da translação. A versão final do algoritmo em C++ processa, aproximadamente, 1 imagem por segundo.

The πMatch pipeline is a monocular feature-based VSLAM method that relies on the plane information of the scene to compute the camera motion and to perform a dense Piecewise Planar Reconstruction (PPR). In contrast to other state of the art feature-based methods, this method relies on affine correspondences, instead of point correspondences, allowing an efficient plane detection and estimation of motion hypotheses. The camera motion and the relevant planes of the scene are selected and refined with PEaRL formulations, being the final PPR obtained with an image segmentation based on Markov Random Field (MRF).This thesis proposes a C++ implementation of the $\pi$Match pipeline, originally implemented in Matlab, and important modifications in some parts of the pipeline that enable dramatic computational speed ups while preserving (or even improving) the overall accuracy and quality of reconstructions. As first task, a straight-forward translation between Matlab and C++ languages was performed to identify the pipeline modules with inadequate computational times. Thereby, the extraction of affine correspondences and MRF segmentation of the image into planes were selected as the essential pipeline bottlenecks. In order to overcome the poor computational efficiency of the methods, new alternative versions of these modules are suggested. The novel ACs extractor performs the division of the image in blocks, taking advantages of parallelization to achieve better computational times. Moreover, the new MRF segmentation method introduces the superpixel concept to reduce the complexity of the problem, achieving similar results to the original, with a dramatic improvement in the time performance. All the suggested alternative methods were validated in comparative tests with the respective original versions. At last, an application was designed to incorporate the pipeline, in order to allow an easier experimentation and visualization of the results, using the Unity 3D game engine. Experiments on KITTI dataset were used to prove the good performances of the overall pipeline, evaluating the estimation of the camera motion and the relative scale of translation. The final C++ version of the pipeline processes, approximately, 1 frame per second.