Please use this identifier to cite or link to this item: https://hdl.handle.net/10316/113047
Title: Towards Contactless Polygraphy - Amplifying small signals in a video to extract information invisible to the human eye
Other Titles: Contribuições para Poligrafia Sem Contacto - Amplificação de pequenos sinais de vídeo para extrair informações invisíveis a olho nú
Authors: Mori, Milena Yukie Kimura
Orientador: Cruz, Luís Alberto da Silva
Keywords: video processing; lie detector test; signal processing; fourier transform; eulerian video amplification; processamento de vídeo; detector de mentiras; processamento de sinal; transformada de fourier; amplificação euleriana de vídeo
Issue Date: 28-Sep-2023
Serial title, monograph or event: Towards Contactless Polygraphy - Amplifying small signals in a video to extract information invisible to the human eye
Place of publication or event: Barcelona
Abstract: The constant transformation of our surroundings often goes unnoticed, but it occurs nonetheless. Imperceptibly, our skin undergoes slight color changes as our hearts beat, and our heads subtly move with each breath. While these alterations may escape our eyes, they are captured by cameras. We can magnify the variation in those small signals to extract important information such as heartbeat rate, which in turn can be used in many real-life applications such as polygraph tests. The polygraph was devised as a way to measure physiological changes in a person when asked pressing questions, which can indicate deceit. The physiological changes that are measured are: heartbeat rate, respiration, skin galvanic response and blood pressure.This thesis aimed to explore the feasibility of using video information to extract heartbeat rates, replacing the traditional sensors that are commonly used to extract this information. Through a series of experiments involving videos of people standing still, and a video of a real-life suspect that was lying, it was consistently possible to enhance the color changes that occur in a person's skin when their heartbeats. Though it was not possible to develop a fully-functioning lie detector test, this thesis proves that the motion and color magnification technique is reliable even when applied to videos of individuals engaged in speech and movement. It also proved that it is an interesting solution that has the potential of revolutionizing how interviews and interrogations are conducted.
O mundo à nossa volta está em constante mudança. Num piscar de olhos, nossas peles mudam subitamente de cor com o batimento de nossos corações, e nossas cabeças movem-se minimamente com cada respiração. Enquanto essas nuances escapam nossa visão humana, câmaras conseguem capturá-las. Amplificando os sinais obtidos pela câmara, é possível extrair informações que podem ser utilizadas em situações da vida real, como o polígrafo. O polígrafo, ou detetor de mentiras, é um aparelho que mede mudanças fisiológicas em um indivíduo para detetar mentiras. Para realizar esse teste, acoplam-se sensores ao indivíduo que está sendo entrevistado para medir batimento cardíaco, respiração, pressão sanguínea e condutividade da pele.O objetivo dessa tese é explorar a viabilidade da utilização de informação obtida por vídeo para extrair informação como batimento cardíaco, substituindo sensores que são usados tradicionalmente. Através de uma série de experimentos, foi possível de forma consistente amplificar as mudanças na cor de pele de várias pessoas diferentes consoante o batimento de seus corações. Apesar de não ter sido possível desenvolver um detetor de mentiras que pudesse ser utilizado em prática, essa tese mostrou que é possível utilizar a técnica de amplificação de mudanças de cor mesmo quando essa técnica é utilizada em vídeos de pessoas em situações da vida real, a falar e a se movimentar. Essa tese também provou que essa técnica é uma solução interessante e que tem o potencial de revolucionar como interrogatórios são conduzidos.
Description: Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
URI: https://hdl.handle.net/10316/113047
Rights: embargoedAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File SizeFormat Login
Thesis_final_submetida.pdf5.28 MBAdobe PDFEmbargo Access    Request a copy
Show full item record

Page view(s)

13
checked on May 22, 2024

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons