Please use this identifier to cite or link to this item:
https://hdl.handle.net/10316/40453
Title: | Modelação de expressões faciais num avatar usando classificação de biossinais | Authors: | Garcia, Diogo Joao Machado | Orientador: | Perdigão, Fernando Manuel dos Santos Pires, Gabriel Pereira Nunes, Urbano José Carreira |
Keywords: | eletro-oculografia; eletromiografia; expressão facial; emoção; seguimento ocular; avatar; electrooculography; electromyography; facial expression; emotion; eye-tracking; avatar | Issue Date: | 19-Sep-2014 | metadata.degois.publication.location: | Coimbra | Abstract: | O reconhecimento do estado afetivo ou emocional dos humanos, pelas máquinas, assunto que se
explora já há muito tempo, pretende melhorar a interação entre máquinas/computadores e humanos,
adaptando-se a diferentes situações. As expressões faciais são uma das formas que permite a inferência
de estados emocionais. Existem várias técnicas de reconhecimento automático de expressões faciais,
que passam por técnicas baseadas em processamento de imagem ou vídeo e por utilização de biossinais,
mais especificamente sinais eletromiográficos.
Nesta tese, foi investigada a utilização de biossinais, nomeadamente sinais eletromiográficos e sinais
eletro-oculográficos, para inferir expressões faciais e movimentos oculares. Os músculos faciais permitem detetar expressões, tais como “felicidade”, “tristeza”, “surpresa”, “raiva”, entre outras. A informação
do olhar é também relevante, tanto para a criação de novas interfaces de interação homem-máquina
como para a dedução de estados emocionais e sociais. Informações como: olhar para cima, olhar para
baixo, desviar o olhar são úteis para este fim. Existem várias técnicas de seguimento ocular e também
de deteção de piscar de olhos, nomeadamente as que se baseiam no processamento de imagem, na
oculografia de infravermelhos, na técnica da bobina escleral e nos biossinais eletro-oculográficos.
A fim de mimetizar as expressões faciais efetuadas pelo utilizador, bem como movimentos oculares
e movimentos da cabeça (através de um sensor de inércia) foi desenvolvido um avatar 3D. O sistema de
deteção incorpora três subsistemas; o primeiro deteta entre quatro expressões faciais (neutra, felicidade,
tristeza e raiva), o segundo sistema deteta entre cinco movimentos oculares (“cima”, “baixo”, “direita”,
“esquerda” e “piscar de olhos”) e o movimento de “franzir”. Ainda foi desenvolvido um terceiro sistema
de seguimento ocular de movimentos horizontais (eye-tracking) recorrendo também a sinais eletrooculográficos. Os dois primeiros sistemas recorrem a um classificador discriminativo linear (classificador
de Bayes). Todos estes sistemas foram implementados para funcionamento online. O sistema de
reconhecimento de expressões faciais obteve desempenho bastante satisfatório, com uma média de
exatidão, entre expressões, de 95,5%, sendo a expressão “tristeza” algumas vezes confundida pelo
classificador com a expressão ”raiva” (algo que se refletiu no desempenho global do sistema).Nos testes
efetuados, o sistema de reconhecimento de movimentos oculares obteve uma taxa de sensibilidade
de 84,7% e um taxa de exatidão de 98,3%. O sistema de seguimento ocular, que foi desenvolvido,
apresentou um ótimo desempenho, no seguimento de treze sacadas, e um erro de aproximadamente 3,0
graus na posição final. The recognition of the human affective and emotional state by machines is a subject that has been researched for a long time. This allows for better and more suitable interaction between machines/computers and humans. Facial expressions are one of the ways that allows the inference of emotional states. Various techniques are available to automate facial expressions recognition, ranging from techniques based on the image and video processing to the use of biosignals, more precisely electromyographic signals. In this thesis, the use of biosignals, in particular electromyographic signals and electrooculographic signals, was researched to deduce facial expressions and eye movements. The facial muscles allow the detection of expressions such as “happiness”, “sadness”, “surprise”, “anger”, among other expressions. Eye information is also relevant, not only for the creation of new humanmachine interfaces, but also for depicting social and emotional states. Look in up, look in down or look away are useful information for this purpose. There are several techniques for eye tracking and detecting blinks of the eye: based on image processing, infrared oculography, scleral coil and based on electrooculographic biosignals. In order to mimic the user facial expressions, as well as eye tracking and head movements (through a motion sensor), a 3D avatar was developed. The main detecting system incorporates three subsystems. The first subsystem detects four facial expressions (neutral, happiness, sadness and anger), the second subsystem detects five eye movements (up, down, right, left and blink of the eye) and frown movement. The third subsystem is an eye-tracking system that also uses electrooculographic signals. The first two subsystems use a linear discriminative classifier (Bayes classifier). All these subsystems were developed for online usage. The facial expressions recognition system had a positive performance, with an average accuracy of 95,5%, where the sad expression was sometimes confused with anger expression (that affected the system global performance). In the tests carried out, the eye-movement recognition system had a sensitivity of 84,7% and accuracy of 98,3%. The developed eye-tracking system showed great performance when following 13 saccades, and a final position error of approximately 3,0 degrees. |
Description: | Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra | URI: | https://hdl.handle.net/10316/40453 | Rights: | openAccess |
Appears in Collections: | UC - Dissertações de Mestrado FCTUC Eng.Electrotécnica - Teses de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Modelacao de expressoes faciais num avatar usando classificacao de biossinais.pdf | 31.41 MB | Adobe PDF | View/Open |
Page view(s) 50
582
checked on Nov 6, 2024
Download(s) 50
666
checked on Nov 6, 2024
Google ScholarTM
Check
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.