Please use this identifier to cite or link to this item: https://hdl.handle.net/10316/86556
Title: Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
Other Titles: Desenvolvimento de uma Aplicação para Detecção e Seguimento de Pontos Faciais para Estimação Robusta da Direcção do Olhar
Authors: Carvalho, Daniel Chichorro de 
Orientador: Ferreira, João Filipe de Castro Cardoso
Lobo, Jorge Nuno de Almeida e Sousa Almada
Keywords: deteção facial; deteção pontos faciais; seguimento de pontos faciais; interação humano-robô; estimação da direção do olhar; facial detection; facial feature detection; facial feature tracking; human-robot interaction; gaze estimation
Issue Date: 29-May-2018
Serial title, monograph or event: Development of a Facial Feature Detection and Tracking Framework for Robust Gaze Estimation
Place of publication or event: DEEC
Abstract: A estimação remota do olhar é o processo de tentar descobrir a direção do olhar de um humano, e ultimamente, o seu objeto de fixação, tal como os humanos o fazem para comunicar, partindo de informação de imagem capturada remotamente. Este processo é conseguido utilizando informação relativa à orientação da sua cabeça e à geometria dos pontos de referência faciais. Tem muitas aplicações, nomeadamente para Interface Homem-Máquina. No entanto, a deteção e seguimento de pontos faciais é um dos focos mais importantes de Visão por Computador, e nenhuma solução exibe uma robustez satisfatória em condições gerais. A maior parte das abordagens a este objetivo partem de cenários com alta resolução e poses de cabeça essencialmente frontais, e nenhuma abordagem encontrada contempla tanto caras frontais como de perfil. Este trabalho propõe um sistema que tenta alcançar uma melhor performance em pessoas mais distantes, e incorporando seguimento de pontos faciais em caras de perfil. O método desenvolvido baseia-se numa comparação da geometria obtida por detetores independentes de pontos faciais com diferentes modelos geométricos da cara humana, que capturam diferentes orientações da cabeça. O seguimento é feito pelo algoritmo KLT, e deteções parciais ou totais são lançadas por um design baseado em confianças. Uma demonstração conceptual é feita, mostrando que a solução proposta atinge de forma satisfatória os requisitos principais. Trabalho futuro é sugerido para melhorar a performance e lidar com as restantes questões.
Remote gaze estimation is the process of attempting to find the gaze direction, or ultimately, the point of fixation of a human subject, much like humans do to engage in communication. This is achieved by using information from the head pose and geometry of facial feature landmarks. This is useful for a number of applications, namely human-machine-interfacing. However, facial feature detection and tracking remains today one of the most important foci of Computer Vision, and no solution for a general-purpose facial feature detector and tracker exhibits satisfactory robustness under in-the-wild conditions. Most approaches towards this goal rely on high-resolution scenarios and overly near-frontal head poses, and no work was found accounting for both near-frontal and profile views during tracking. This work proposes a proof-of-concept that attempts to achieve better performance on distant subjects, and incorporating tracking of facial features in profile views. The designed method is based on a comparison of the shape geometry obtained from independent feature detectors to different shape models of the human face, capturing different head poses. Tracking is performed by the use of the KLT algorithm, and partial or full re-detections are triggered by a confidence-based design. A proof-of-concept is presented showing that the proposed solution satisfactorily addresses main functional requirements. Future work is suggested to further improve performance and address remaining issues.
Description: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
URI: https://hdl.handle.net/10316/86556
Rights: openAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat
Versão final - Daniel Chichorro Carvalho.pdf11.7 MBAdobe PDFView/Open
Show full item record

Page view(s) 50

344
checked on Feb 20, 2024

Download(s) 50

359
checked on Feb 20, 2024

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons