Object Detection and Registration of the Complete Pose on a Semantic Map Built by a Mobile Robot

Abstract

A segurança afigura-se, desde o alvorecer da humanidade, como uma questão primordial para o ser humano. Graças aos mais recentes avanços tecnológicos, é possível automatizar tarefas de segurança utilizando robôs de patrulhamento e vigilância, melhorando, deste modo, o bem-estar geral da população.Com o objetivo de desempenhar tarefas úteis e avançadas em ambientes do dia a dia, tais como patrulhamento de edifícios, busca e salvamento, interação com humanos de forma a garantir assistência ou manuseamento de objetos, os robôs necessitam de saber a sua localização, o que se encontra em seu redor e qual a distribução espacial e a categoria dos objetos que se encontram junto deles. A solução para este problema reside no mapeamento semântico robótico, o qual pressupõe uma construção melhorada da representação do ambiente, o que implica não só informação geométrica, mas também informação semântica relativamente aos objetos existentes no ambiente, incluindo a sua classe, posição, orientação, descrição, estado, etc. A aplicação do mapa semântico aos robots móveis proporciona uma melhor e mais rica descrição do meio envolvente, visando melhorar a navegação, planeamento de tarefas, bem como a interação do homem-robô.Esta dissertação aborda, fundamentalmente, a questão de como dotar um robot móvel da capacidade de detetar e classificar objetos em ambientes internos e estruturados, registando a pose completa dos mesmos num mapa semântico do ambiente. O sistema de perceção do robô foi desenvolvido no contexto do projeto STOP, o qual visa desenvolver tecnologia baseada em vários contributos científicos na área do patrulhamento multi-robô distribuído, e o desenvolvimento de características técnicas inovadoras com o objetivo de adaptar robôs de vigilância a cenários de mundo real, nomeadamente a perceção automática de situações anómalas, bem como a capacidade de operação resiliente durante longos períodos de tempo. Nesta dissertação, dados provenientes da câmera RGB, os quais contém informação do ambiente onde o robô se encontra, são utilizados na construção do mapa semântico. A contribuição mais importante deste trabalho, em relação ao estado da arte, é a capacidade de estimar a pose completa dos objetos, ou seja, não apenas a sua posição, mas também a sua orientação. Este trabalho de dissertação englobou três objetivos principais. O primeiro objetivo consistiu em alcançar um sistema de detecção e classificação de objectos baseado numa arquitectura centralizada utilizando uma rede neuronal artificial. O segundo grande objetivo consistiu em desenvolver um sistema de classificação de objeto baseado numa arquitectura distribuída. De forma se conseguir uma arquitetura distribuída foi desenvolvido um novo método heurístico de classificação de objetos usando nuvens de pontos e grades de ocupação, sem recorrer a técnicas de aprendizagem profunda. Para a validação experimental dos sistemas, a qual representa o último objectivo, foi realizado um teste de longa duração e um estudo de comparativo.

Since the dawn of humankind, security is an essential asset for human beings. With the latest advances in technology, it is possible to automate security tasks by using patrolling and surveillance robots, therefore improving the overall well-being of people.In order to perform advanced and useful tasks in everyday environments, such as patrolling, search and rescue, interaction with humans to provide assistance, or object manipulation, robots need to know where they are, what is around them, and which is the arrangement and category of objects next to them. A solution to this problem is based on semantic robotic mapping, which involves building an enhanced representation of the environment that entails not only geometrical information but also semantic information of the objects populating the environment, including their categorisation, location, orientation, description, etc. The application of semantic mapping to mobile robots enables a more qualitative and richer description of the robot’s surroundings, aiming to improve navigation, task planning, and human-robot interaction.This dissertation addresses the problem of endowing a mobile robot with the ability to detect and classify objects in indoor structured environments and register their complete pose in a semantic map of the environment. The robot perception system was developed within the STOP project , which aims at developing technology based on several scientific contributions on distributed multi-robot patrolling, and developing innovative technical features in order to adapt surveillance robots to real-world scenarios, namely the automatic perception of abnormal situations, as well as resilient operation during long periods of time.In this dissertation, raw sensor data provided by a RGB-D camera, which collects information of the robot's workspace, is used to build a semantic map. The most important contribution of this work, w.r.t. the state of the art, is the ability to estimate the complete pose of the objects, i.e. not only their position but also their orientation.This dissertation work encompassed three major milestones. The first one was to attain an object detection and classification system based on a centralised architecture using an artificial neural network.The second major milestone consisted in to develop an object classification system based on a distributed architecture. In order to achieve a distributed architecture, a novel heuristic method for object classification using point clouds and occupancy grids, without resorting to deep learning techniques, was developed.For the experimental validation of the system, which represents the last milestone, a long-term test and a benchmarking were carried out.