Semantic Mapping with a Mobile Robot Using a RGB-D Camera

Abstract

Nowadays, the major focus in robotics is to make service robots ubiquitous in our daily lives to assist us in different activities, in public and domestic spaces. With this purpose, robots should understand their surroundings in a human-like manner. This requires that robots areable to categorize rooms, understand in which kind of context humans use those, and predict which objects can be found in each area category. By detecting and registering such spatial properties in more informative robotic maps – semantic maps –, service robots become more capable to perform useful tasks and assist humans. For instance, the generated semantic maps can be used to modulate the robot’s behavior when seeking a given type of object, e.g. given the common-sense knowledge that plates are usually found in a kitchen, the robot willsearch them firstly in places belonging to that category.Deep learning, i.e. deep neural networks, leveraged by the availability of large datasets and increasingly powerful GPUs, have attained unprecedented performance in object detection and scene recognition in images.The major focus of this M.Sc. dissertation was to study and develop a mobile robotic system endowed with the capability of building semantic maps, in this particular case, maps with object occurrences and place categories annotated, by combining classical methodologies used in the mobile robotics field with state-of-the-art deep learning techniques. Furthermore, object-places relationships were also studied and an ontology-based robotic object searching algorithm was developed.The developed semantic mapping framework was validated through experiments conducted over real-world data and, in those test scenarios, it showed its ability to successfully attain a fairly good representation of the object occurrences and place categories present inthe robot’s workspace. The ontology-based robotic object searching algorithm was evaluated in a set of simulated scenarios where it has proven that object-places relationships can enhance the performance of a service robot when asked for seeking a specific object.

Atualmente o principal foco da Robótica é o de integrar robôs de serviço na sociedade e nas nossas vidas quotidianas, de forma a que estes nos possam ajudar nas mais diversas actividades. Com este propósito, um agente robótico deveria, idealmente, entender e lidar com o seu ambiente da mesma forma que um ser humano. Para tal é necessário que os robôs não só sejam capazes de categorizar divisões do espaço de trabalho e entendam em que tipo de contextos estas são utilizadas, mas que também prevejam ainda que tipo de objectos tendem a ser encontrados nessas divisões. Ao detectar e registar este tipo de conhecimentos em mapas robóticos mais informativos – mapas semânticos –, os robôs de serviço podem tornar-se mais eficazes e úteis num grande leque tarefas. Os mapas semânticos podem vir a ser utilizados, por exemplo, com o intuito de modelar o comportamento de um robô quando este é chamado a executar a tarefa de procurar um determinado tipo de objecto. Dado o "conhecimento" do robô, através do mapa semântico, de que pratos tendem a existir em cozinhas, o robô deverá procurar por estes em divisões pertencentes a esta categoria.A recente disponibilidade de datasets de grande dimensão, em cojunto com a existência de processadores gráficos (GPUs) cada vez mais poderosos, tem influenciado de forma positiva técnicas de aprendizagem máquina baseadas em redes neuronais profundas e estas tem alcançado níveis de desempenho sem precedentes na resolução de diversos problemas.O foco principal desta dissertação de mestrado foi estudar e desenvolver um sistema robótico móvel capaz de construir mapas semânticos, neste caso particular mapas com informações acerca de ocorrências de objectos e de categorias de divisões anotadas, combinando métodos clássicos utilizados na robótica móvel com métodos de aprendizagem máquina baseados em redes neuronais profundas. Foi ainda desenvolvido um algoritmo baseado em ontologias para tornar a procura de objectos por parte do robô mais rápida e eficaz.O sistema de mapeamento semântico desenvolvido foi validado e, nos cenários de teste realizados, demonstrou uma boa capacidade no registo de ocorrências de objectos e categorias de divisões nos mapas semânticos. O algoritmo de procura de objectos foi avaliado num conjunto de simulações a partir das quais foi possível demonstrar que os relacionamentos entre objectos e divisões podem melhorar significativamente o desempenho de um robô de serviço na execução da tarefa de procurar por um objecto específico.