Extraction of sign language information through biosignals

Abstract

Recentemente, o campo de interação humana-computador tem sido o foco de bastante interesse, particularmente o tópico de reconhecimento gestual. Estas pesquisas procuram melhorar a qualidade de vida de idosos e indivíduos com necessidades especiais, através da criação de uma nova interface de comunicação entre humanos e computadores. Mais especificamente, estes estudos exploram a natureza elétrica do sistema nervoso humano, procurando aplicá-lo ao controlo de aparelhos assistivos. Deste modo, o objetivo destes sistemas passa pela tradução de movimentos simples em comandos através da deteção, processamento e classificação de biosinais, nomeadamente sinais electromiográficos (EMG). Este trabalho foca-se no reconhecimento de língua gestual (SLR), um problema desafiante e complexo com várias abordagens de resolução. Esta multiplicidade de abordagens é causada pela complexidade inerente a estes tipos de gestos, que podem ser classificados como gestos estáticos ou como gestos dinâmicos, onde mais do que uma fase de movimento é diferenciável. Assim, há diferentes tipos de métodos de classificação que podem ser aplicados a estes tipos de sinais, nomeadamente "Hidden Markov Models" (HMMs), máquinas de estado finito, filtragem de partículas e redes neuronais artificiais. Contudo, apesar do uso de redes neuronais artificiais ser bastante comum na classificação de movimentos simples, o seu uso no reconhecimento de língua gestual ainda está a ser explorado. De facto, a maioria dos esforços em SLR é empregue com o uso de HMMs, dada a sua eficácia no reconhecimento de sinais que variam ao longo do tempo. Esta dissertação tem como objetivo o desenvolvimento de um sistema de reconhecimento de língua gestual, através da medição de sinais EMG. Deste modo, a metodologia proposta baseia-se na extração de um conjunto discriminatório de características ("features") e na sua classificação através de uma rede neuronal artificial. O método desenvolvido foi aplicado á classificação de 10 sinais gestuais, de maneira a determinar os parâmetros ótimos da arquitetura da rede neuronal. Deste modo, o presente documento inclui um estudo sobre os parâmetros do modelo escolhido e os resultados de classificação correspondentes. Não só, apresenta uma análise sobre a influência de certos fatores na performance do sistema, nomeadamente o tamanho da população de amostra e o conjunto de "features" utilizado na representação.Por sua vez, os resultados obtidos apoiam o uso de uma rede neuronal artificial como ferramenta de classificação, na área de reconhecimento de língua gestual. Neste caso, o sistema desenvolvido classifica 10 sinais gestuais, provenientes de 4 sujeitos, com uma taxa de precisão de 95.4%. Não só, o sistema também é adequado para a classificação de movimentos simples, alcançando uma precisão de 92.7% na classificação de 10 movimentos efetuados por 4 sujeitos.

In recent years, a significant amount of effort has been dedicated to the field of human-computer interaction, particularly regarding the topic of gesture recognition. These developments aim to improve the quality of life of elderly and disabled people, through the creation of a new communication interfacebetween humans and computers. More precisely, these reseaches explore the electric nature of the human nervous system and attempt to apply it to the control of human-assisting devices.As such, the goal of these systems is to translate hand and arm motions into commands, through the detection, processing and classification of biosignals, namely electromyography signals (EMG). This work focuses on sign language recognition (SLR), an intricate and challenging problem which has yielded different approaches in the past. This is due to the inherent complexity of these types of gestures, which can either be static or dynamic, when more than one stage of motion is required.Thus, there are different classification method suitable for these types of signals such as Hidden Markov Models (HMMs), Finite State Machines, Particle Filtering and Artificial Neural Networks. However, while the use of artificial neural networks is very common in the classification of simple arm/hand movements it's use in sign language recognition is still being explored. In fact, most efforts at SLR are employed with HMMs due to the fact that they are more effective at recognizing signals which vary over time.Therefore, this study presents a step-by-step development of an EMG pattern recognition system, based on the classification of a discriminatory set of features by an artificial neural network. Moreover, it evaluates the performance of the aforementioned system by applying it to the classification of 10 sign language gestures. As such, this document includes an analysis on the optimal parameters of the networks architecture as well as a study on the influence of the sampling population and the representation of the input data on the system's performance.Moreover, the obtained classification results support the efficacy of an artificial neural network as a classifying tool, for complex sign language gestures. The developed system can classify 10 sign language gestures, from 4 subjects, with a classification accuracy of 95.4%. Not only, this system is also suitable for the classification of simple movements, achieving an accuracy rate of 92.7% for the classification of 10 hand and arm movements, performed by 4 subjects.