Urban Safety with Video Analytics

Abstract

With the population concentrating on urban areas, crime rates increase and cities cannot provide a reliable answer since human resources and infrastructures are limited, creating several problems related to security.With this work, we propose a platform that, with the use of machine learning, is capable of finding individuals across different video feeds to be used in a surveillance system for smart cities. This document details all the steps to build a solution capable of performing this task. We provide an analysis of the state of the art on the subjects of person detection and person re-identification. Based on the analysis of the current methods available we propose a solution considering two critical steps, person detection and image extraction from videos and person re-identification.Our approach consists of transforming video into images by sampling one frameper second and performing person detection on those frames. The person re-identification algorithms then go through these detections to find the intended person. We implemented different methods for each of the mentioned steps of our solution. We perform tests to find the best person detection and person re-identification algorithms for our specific solution.The experiment results show the solution's viability by achieving the objectives set for person re-identification (70% mAP and 80% CMC). We also leave a suggestion of a possible path for future developments regarding the person re-identification performance and new features that can be implemented to improve our solution.

Com a população concentrada nas áreas urbanas, as taxas de criminalidade aumentam e as cidades deixam de conseguir fornecer uma resposta fiável, uma vez que os recursos humanos e as infraestruturas são limitados, criando vários problemas relacionados com a segurança da população.Com este trabalho, propomos uma plataforma que, com a utilização da machine learning, é capaz de encontrar indivíduos através de diferentes alimentações de vídeo para serem utilizados num sistema de vigilância para cidades inteligentes. Este documento detalha todos os passos dados para construir uma solução capaz de realizar esta tarefa. Fornecemos uma análise do estado da arte sobre os temas da deteção e re-identificação de pessoas. Com base na análise dos métodos atualmente disponíveis, propomos uma solução considerando duas etapas críticas, a deteção de pessoas e a extração de imagens de vídeos e a re-identificação de pessoas. A nossa abordagem consiste em transformar vídeo em imagens através da seleção de um frame a cada segundo de vídeo e realizar a deteção de pessoas nesses frames. Os algoritmos de re-identificação da pessoa passam então por estas deteções para encontrar a pessoa pretendida. Implementamos métodos diferentes para cada uma das etapas mencionadas da nossa solução. Realizamos testes para encontrar a melhor deteção de pessoas e algoritmos de re-identificação de pessoas para a nossa solução específica. Os resultados das experiências mostram a viabilidade da solução ao atingir os objetivos estabelecidos para a re-identificação de pessoas (70% mAP e 80% CMC). Deixamos também uma sugestão de um possível caminho para futuros desenvolvimentos no que respeita ao desempenho da re-identificação de pessoas e novas características que podem ser implementadas para melhorar a nossa solução.