JetNavigator - COMPUTER VISION AND DEEP LEARNING TECHNIQUES TO IMPROVE INDOOR NAVIGATION

Abstract

Os sistemas de localização internos são úteis em muitas aplicações práticas onde operadores móveis e robóticos necessitam de direção e localização precisas. Esses sistemas são usados ​​principalmente para compensar sinais de GPS fracos em ambientes indoor.No entanto, os sistemas de localização internos existentes precisam de hardware adicional, como routers de Wi-Fi e beacons distribuídos, para capturar com precisão as informações necessárias para calcular uma pose (consistindo em coordenadas de localização e ângulos de orientação). Estes sistemas funcionam perfeitamente em cenários com hardware adequado pré-disponível, como routers de Wi-Fi, como em universidades ou escolas. No entanto, a mesma situação pode não se aplicar a grandes instalações industriais complexas, onde hardware extra tem de ser instalado e mantido.O principal objetivo deste trabalho é apresentar um novo método de localização indoor que reduz significativamente a dependência de hardware adicional, utilizando técnicas de Computer Vision e Deep Learning. Para utilizar este sistema, o utilizador apenas precisa de um smartphone com câmara e a nossa aplicação móvel instalada.Para atingir este objetivo, dividimos o nosso projeto em três etapas:• Coleção de um dataset - Programámos um agente robótico para coletar um dataset de imagens.• Modelo de previsão de pose baseado em imagens - Implementámos e treinámos um modelo de previsão de pose baseado em imagens utilizando o dataset construído anteriormente.• Aplicação móvel - Criámos um protótipo de aplicação móvel e um servidor. Esta aplicação móvel é responsável pela interação com o utilizador, envia as imagens da câmara para o servidor e exibe o caminho até o destino no mapa do prédio. O servidor utiliza as fotos do smartphone e o modelo de previsão para calcular a pose do utilizador. Em seguida, usando o destino do utilizador, ele devolve o caminho calculado para a aplicação móvel a ser exibido ao utilizador.A aplicação móvel criada não teve um bom desempenho em condições reais de teste. No entanto, identificámos os problemas que levam a resultados insatisfatórios e desafios que os trabalhos futuros precisarão revolver. Esta identificação de problemas constitui a principal contribuição deste trabalho.

Indoor localization systems are helpful in many practical applications where mobile and robotic operators require precise direction and location. These systems are mainly used to compensate for weak GPS signals in indoor environments. However, existing indoor localization systems require additional equipment, such as Wi-Fi routers and distributed beacons, to accurately capture the necessary information to calculate a pose (consisting of location coordinates and orientation angles). These systems work perfectly in scenarios with pre-available suitable hardware, such as Wi-Fi routers, like in universities or schools. However, the same situation might not apply to large complex industrial installations, where extra hardware must be installed and maintained. The main goal of this work is to present a new indoor localization method that significantly reduces the dependency on external hardware resources by leveraging state-of-the-art computer vision and deep learning techniques. To use this system, the user needs only a smartphone with a camera and our mobile application installed. To achieve this objective, we divided our project into three steps:• Dataset collection - We programmed a robotic agent to collect an image dataset.• Image-based pose prediction model - We implemented and trained an image-based pose prediction model utilizing the previously built dataset.• Mobile application - We created a prototype mobile application and a server. This mobile application is responsible for user interaction, sends the camera images to the server, and displays the path to the destination on the building map. The server utilizes the smartphone’s pictures and the prediction model to calculate the user’s pose. Then, using the user destination, it returns the calculated path to the mobile application to be displayed to the user.The created mobile application did not perform well on actual test conditions. However, we have identified the issues that lead to poor results and challenges that future works need to address. This problem identification constitutes the main contribution of this work.