SMAP: A Semantic Mapping Framework for Mobile Robots

Abstract

This dissertation focuses on creating a common ground between different semantic mapping approaches by proposing a probabilistic spatio-temporal framework that is modular, to make possible the easy integration of new semantic detection and classification methods; expandable, to introduce more adaptability to the system through time; robust, to handle environment changes and uncertainties; and computational efficient enough to deal with the growth of the map and its representations while executing inside an edge computing device like the Jetson AGX Xavier.The proposed semantic pipeline makes possible the use of pre-trained popular state-of-the-art detectors to estimate primitive 3D geometric characteristics of detected objects and place them into a probabilistic Topological Semantic Map. The framework can also handle the addition of new detectors and classes to the system without the need to recreate old maps or retrain the entire system due to the expandable classification.The Topological Semantic Map utilized is lightweight in both storage space and computational requirements. It can store richer information in less space than conventional grid semantic maps.Finally, the system was deployed on a mobile platform Pioneer P3-DX equipped with a Jetson System On Module (SOM) as the main computer, using a Docker containerized environment to have better applicability and scalability. The robot was also equipped with a ZED 2 stereo camera and a Hokuyo URG-04LX laser range finder. Tests on the mobile platform were conducted inside the Mobile Robotics Lab of ISR-Coimbra.

Esse trabalho de dissertação foca em tentar criar um espaço comum entre diferente abordagens de mapeamento semântico propondo uma framework espaço-temporal probabilística que seja modular, para tornar possível a fácil integração de novos métodos de detecção e classificação semânticos; expansível, para introduzir mais adaptabilidade ao sistema ao longo do tempo; robusto, para lidar com mudanças no ambiente e incertezas; e computacionalmente eficiente o suficiente para lidar com o crescimento do mapa e suas representações durante a execução dentro de um dispositivo de computação de borda como o Jetson AGX Xavier.O pipeline semântico proposto torna possível o uso de detectores estado da arte pré-treinados para estimar características 3D primitivas de objetos detectados e posiciona-los em um mapa topológico probabilístico. A framework também pode lidar com a adição de novos detectores e classes ao sistema sem precisar recriar mapas antigos ou retreinar o sistema inteiro devido à classificação expansível.O mapa semântico topológico utilizado é leve em tanto em espaço de armazenamento quanto em requisitos computacionais. Ele pode armazenar informações mais ricas em menos espaço se comparado com mapas semânticos de grelhas convencionais.Por fim, o sistema foi implantado em uma plataforma móvel Pioneer P3-DX equipada com um Jetson System On Module (SOM) como o computador principal,e usando um ambiente de contêineres Docker para ter melhor replicabilidade e escalabilidade. O robô também foi equipado com uma câmera estéreo ZED 2 e um laser range finder Hokuyo URG-04LX. Testes na plataforma móvel foram conduzidos dentro do laboratório de robótica móvel do ISR-Coimbra