Please use this identifier to cite or link to this item: https://hdl.handle.net/10316/81488
Title: 3D Object Tracking Using RGB Camera and 3D-LiDAR Data
Other Titles: 3D Object Tracking Using RGB Camera and 3D-LiDAR Data
Authors: Girão, Pedro Miguel Oliveira 
Orientador: Peixoto, Paulo José Monteiro
Keywords: Seguimento de objetos em 3D; Fusão sensorial; Condução autónoma; Mean-shift; Filtros de Kalman; 3D object tracking; Sensor fusion; Autonomous driving; Mean-shift; Kalman filters
Issue Date: 23-Sep-2016
Serial title, monograph or event: 3D Object Tracking Using RGB Camera and 3D-LiDAR Data
Place of publication or event: DEEC
Abstract: Ao longo destes últimos anos, o campo da segurança rodoviária na indústria automóvel tem sido foco de muita investigação e desenvolvimento. A evolução verificada neste campo fez com que as principais empresas do ramo tenham começado a desenvolver as suas próprias soluções de segurança de modo a obter veículos mais seguros. Um dos resultados desta investigação foi o aparecimento de sistemas de assistência à condução autónoma e veículos de condução automatizada. Estes veículos dependem de sensores precisos, montados no próprio veículo, para compreender os ambientes que os rodeiam. Assim, apenas poderão ser obtidos veículos verdadeiramente autónomos quando estes dependerem apenas da informação sensorial.No entanto, é necessário aplicar pós-processamento aos dados oriundos dos sensores de modo a que o veículo detete obstáculos e objetos enquanto navega. Entre outros, estes algoritmos permitem a extração da localização, forma e orientação do objeto. A navegação em ambientes urbanos continua a ser um problema sem soluções aceites de modo unânime, apesar das muitas propostas apresentadas. Isto prende-se principalmente com o fato dos cenários de tráfego urbano apresentarem complexidade superior a outros cenários. Os sensores existentes atualmente apresentam ainda capacidades limitadas quando usados individualmente.O pipeline da perceção é um módulo crítico para o bom funcionamento destes veículos. Em particular, o seguimento de objetos num ambiente 3D dinâmico é uma das componentes chave deste pipeline. Ao seguir um objeto, informação sobre a sua localização, forma, orientação e até velocidade podem ser obtidas. Previsões sobre os estados futuros do objeto seguido também podem ser utilizadas para que o veículo possa planear ações futuras.Na presente dissertação é apresentada uma abordagem para o seguimento online de objetos, que recorre a informação de uma imagem 2D RGB obtida por uma câmara a cores e uma nuvem de pontos 3D capturada por um sensor LiDAR, de modo a detetar e seguir um objeto em cada novo scan. O objeto alvo está inicialmente definido. Foi considerado um sistema de navegação inercial para a auto-localização do veículo. A integração de dados 2D e 3D pode provar-se benéfica para o seguimento de objetos, como é demonstrado pela abordagem apresentada. São usados algoritmos mean-shift nos espaços 2D e 3D em paralelo de modo a obter as novas localizações do objeto, e filtros Bayesianos (filtros de Kalman) para fazer a fusão da informação e, de seguida, para o próprio seguimento do objeto no espaço 3D. Este método calcula então estimativas para a localização,orientação 2D e velocidade instantânea do objeto, bem como uma estimativa da próxima localização do objeto.O método desenvolvido foi sujeito a uma série de testes, estando os resultados qualitativos e quantitativos obtidos apresentados no documento. Estes resultados mostram que o método é capaz de estimar a localização, orientação e velocidade do objeto com boa precisão. Foi feita ainda uma comparação com dois métodos de referência (baseline). Os testes utilizam informação ground truth proveniente da base de dados KITTI para o propósito de avaliação. Tendo como base os testes efetuados, é proposto um conjunto de métricas (benchmark) para facilitar a avaliação de métodos de modelação da aparência de objetos. Este benchmark consiste em cinquenta sequências compostas pela trajetória completa (e ininterrupta) do objeto em particular, sendo categorizadas com base em quatro fatores desafiantes.
The field of vehicle safety in the automotive industry has been the focus of much research and development in recent years. This evolution in the field has made it possible for major players in the automotive business to start developing their own active safety solutions to achieve safer cars. One of the outcomes of these efforts has been the development of autonomous driving assistance systems and highly automated vehicles. These vehicles rely on accurate on-board sensor technologies to perceive their surrounding environments. Truly autonomous vehicles will only be a reality when they can reliably interpret the environment based on sensory data alone.However, some post processing needs to be applied to the raw data given by the sensors, so that the vehicle can perceive obstacles and objects as it navigates. Such algorithms allow, among other things, the extraction of the location, shape and orientation of object. The navigation in urban environments is still an open problem, despite the many approaches presented. This is mainly due to the fact that urban traffic situations offer additional complexity. In addition, current on-board sensors also have limited capabilities when used individually.The perception pipeline is thus a critical module of these vehicles. In particular, object tracking in a dynamic 3D environment is one of the key components of this pipeline. By tracking an object, information about location, shape, orientation and even velocity of that object can be obtained. A prediction of the future states of the tracked objects can also be obtained allowing for the planning of future actions taken by the vehicle.In the present thesis, an online object tracking approach has been developed that used information from both 2D RGB images obtained from a colour camera and 3D point clouds captured from a LiDAR sensor to detect and track an initially defined target object in every new scan. An inertial navigation system was also considered for vehicle self-localization. Integration of 2D and 3D data can provide some benefits, as demonstrated by this approach. The tracker uses two parallel mode-seeking (mean-shift) algorithms in the 2D and 3D domains to obtain new object locations and Bayesian (Kalman) filters to fuse the output information and afterwards track the object in the 3D space. Our approach outputs the target object location, 2D orientation, and instant velocityestimates, as well as a prediction about the next location of the object.The tracker was subject to a series of tests. The quantitative and qualitative results obtained are presented in the document. These results show that the proposed tracker is able to achieve good accuracy for location, orientation and velocity estimates. A comparison with two baseline 3D object trackers is also presented. The test cases used ground truth information from the KITTI database for evaluation purpose. A benchmark based on the KITTI database is also proposed in order to make the evaluation of object appearance modelling and tracking methods easier. This benchmark features 50 sequences labelled with object tracking ground-truth, categorized according to four different challenging factors.
Description: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
URI: https://hdl.handle.net/10316/81488
Rights: openAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat
girao2016_dissertacao.pdf26.43 MBAdobe PDFView/Open
Show full item record

Page view(s) 20

652
checked on Mar 26, 2024

Download(s) 20

1,780
checked on Mar 26, 2024

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons