Traffic light detection with neural network models

Abstract

A inteligência artificial é um campo em crescimento para aplicações em veículos autónomos. Quando um veículo tem de tomar decisões de forma autónoma, a inteligência artificial é um instrumento adequado para realizar essas escolhas. Os veículos devem, por si só e sem intervenção humana, ser capazes de localizar objectos no seu trajeto e de identificar o tipo de objetos que estão presentes. Este é um problema de deteção de objetos. A aprendizagem automática é um subcampo da inteligência artificial que inclui o deep learning, no qual é possível encontrar algoritmos baseados em redes neuronais convolucionais que foram desenvolvidos especificamente para resolver problemas de deteção de objetos. Tais algoritmos incluem: R-CNN, Fast R-CNN, Faster R-CNN, Single Shot Detector (SSD) e You Only Look Once (YOLO).O trabalho apresentado nesta dissertação consiste em aplicar um destes algoritmos para detetar semáforos em tempo real e detetar a cor correspondente: vermelho, amarelo ou verde. O trabalho foi realizado no contexto do que a empresa Active Space Technologies está atualmente a desenvolver, que é um veículo autónomo guiado automaticamente (AGV). A infraestrutura e modelo escolhidos são o TensorFlow Object Detection API e o SSD MobileNet V2 320×320 do TensorFlow 2 Detection Model Zoo. São utilizados dois conjuntos de dados diferentes; um feito a partir de imagens do conjunto de dados de semáforos LISA traffic lights e o outro é um conjunto de dados personalizado criado utilizando imagens de Coimbra, Portugal. Para facilitar o processo de etiquetagem deste último, o modelo pré-treinado SSD MobileNet V2 320×320 é utilizado para implementar um algoritmo capaz de etiquetar automaticamente as imagens recolhidas. Uma vez rotulado o conjunto de dados, são realizados diferentes treinos utilizando diferentes hiperparâmetros para encontrar os que se traduzem em melhores resultados num conjunto de dados de teste. Para cada hiperparâmetro alterado, é feita uma discussão sobre as possíveis razões pelas quais os resultados melhoraram ou pioraram. Além disso, é feita também uma discussão sobre o impacto que o meio envolvente aos semáforos tem nos resultados obtidos.

Artificial intelligence is a growing field for applications in autonomous vehicles. When a vehicle has to take decisions autonomously, artificial intelligence is a suitable tool to carry out those choices. Vehicles must, on their own and without human intervention, be able to locate objects on their path and to identify the kind of objects that are present. This is a problem of object detection. Machine learning is a subfield of artificial intelligence. Further diving into machine learning's subset of deep learning, it is possible to find algorithms based on Convolutional Neural Networks (CNNs) that were developed specifically to solve object detection problems. Such algorithms include: R-CNN, Fast R-CNN, Faster R-CNN, Single Shot Detector (SSD) and You Only Look Once (YOLO).The work presented in this thesis consists of applying one of those algorithms to detect traffic lights in real time as well as detect the correspondent color: red, yellow or green. The work was carried out in context of what the company Active Space Technologies is currently developing, which is an Automated Guided Vehicle (AGV). The chosen framework and model is TensorFlow Object Detection API and the SSD MobileNet V2 320×320 from TensorFlow 2 Detection Model Zoo. Two different datasets are used; one made from images of the LISA traffic lights dataset and the other is a customized dataset created using images from Coimbra, Portugal. To facilitate the labelling process of the latest, the pre-trained SSD MobileNet V2 320×320 model is used to implement an algorithm capable of automatically labelling the dataset. Once the dataset is labelled, different trainings are performed using different hyperparameters to find those that translate to better results in a test dataset. For every changed hyperparameter a discussion is made on the possible reasons why the results got better or worse. Moreover, a discussion is also presented on the way the surroundings of the traffic lights can impact the results obtained.