Gesture recognition using deep neural networks

Abstract

Esta dissertação teve como principal objetivo o desenvolvimento de um método para realizar segmentação e reconhecimento de gestos. A pesquisa foi motivada pela importância do reconhecimento de ações e gestos humanos em aplicações do mundo real, como a Interação Homem-Máquina e a compreensão de linguagem gestual. Além disso, pensa-se que o estado da arte atual pode ser melhorado, já que esta é uma área de pesquisa em desenvolvimento contínuo, com novos métodos e ideias surgindo frequentemente.A segmentação dos gestos envolveu um conjunto de características artesanais extraídas dos dados 3D do esqueleto, as quais são adequadas para representar cada frame de qualquer sequência de vídeo, e uma Rede Neuronal Artificial para distinguir momentos de descanso de períodos de atividade. Para o reconhecimento de gestos, foram desenvolvidos 3 modelos diferentes. O reconhecimento usando as características artesanais e uma janela deslizante, que junta informação ao longo da dimensão temporal, foi a primeira abordagem. Além disso, a combinação de várias janelas deslizantes com o intuito de obter a influência de diferentes escalas temporais também foi experimentada. Por último, todas as características artesanais foram descartadas e uma Rede Neuronal Convolucional foi usada com o objetivo de extrair automaticamente as características e as representações mais importantes a partir de imagens.Todos os métodos foram testados no conjunto de dados do concurso 2014 Looking At People e o melhor alcançou um índice de Jaccard de 0.71. O desempenho é quase equivalente ao de algumas técnicas do estado da arte.

This dissertation had as the main goal the development of a method to perform gesture segmentation and recognition. The research was motivated by the significance of human action and gesture recognition in real world applications, such as Human-Machine Interaction (HMI) and sign language understanding. Furthermore, it is thought that the current state of the art can be improved, since this is an area of research in continuous developing, with new methods and ideas emerging frequently.The gesture segmentation involved a set of handcrafted features extracted from 3D skeleton data, which are suited to characterize each frame of any video sequence, and an Artificial Neural Network (ANN) to distinguish resting moments from periods of activity. For the gesture recognition, 3 different models were developed. The recognition using the handcrafted features and a sliding window, which gathers information along the time dimension, was the first approach. Furthermore, the combination of several sliding windows in order to reach the influence of different temporal scales was also experienced. Lastly, all the handcrafted features were discarded and a Convolutional Neural Network (CNN) was used with the aim to automatically extract the most important features and representations from images.All the methods were tested in 2014 Looking At People Challenge’s data set and the best one achieved a Jaccard index of 0.71. The performance is almost on pair with that of some of the state of the art techniques.