Development of a non-invasive temperature monitoring and tracking device using machine learning algorithms

Abstract

A medição de temperatura de forma não invasiva tem muitas aplicações, desde a biologia (e.g. monitorização de aves em nidificação) à indústria (e.g. produtos em tapetes rolantes) ou medicina (e.g. medição de febre). O desenvolvimento de bibliotecas para visão por computador ou machine learning em open source, como o OpenCV permitem o rápido processamento por meio de câmeras e computadores simples, como é o caso do RaspberryPi. Combinando esta capacidade com os dados adquiridos através de uma câmera de infravermelho (IR) torna-se possível monitorizar a temperatura de objetos ou corpos. Neste projeto, foi desenvolvido um sistema de monitorização de temperatura em tempo real, orientado para o reconhecimento facial de individuos e a medição da temperatura das suas testas. O sistema é composto por um RaspberryPi e a sua câmera (Module 2) e uma câmera térmica MLX90640.Numa fase inicial, foi estudado o comportamento da camera térmica, a partir de modelos existentes para o seu funcionamento. Foram analizados os efeitos da distância na aquisição da temperatura, através de seleções manuais da região de interesse (RoI) em imagens térmicas, onde foi avaliado a incerteza resultante da escolha da seleção do RoI e a incerteza estatístico, avaliando a evolução destas incertezas com o aumento da distância. Através do conhecimento da influência do ambiente na medição de temperatura por imagens infravermelho, foi testado um modelo existente para compensar estes efeitos com a distância, onde se verificou uma melhoria relativamente ao erro absoluto médio calculado. O algoritmo de deteção de faces usado foi o classificador Haar-Cascade, implementado no OpenCV. Para teste final do sistema, foram objeto de estudo um ambiente simulado e outro com faces reais (com uma taxa de amostragem de 32Hz e 8Hz, respetivamente). O sistema foi, por fim, validado com indivíduos escolhidos aleatoriamente para o efeito. As características do sistema e as suas limitações são finalmente sumarizadas a partir dos resultados obtidos.

Non-invasive temperature measurement has many applications, from biology (e.g. monitoring of nesting birds) to industry (e.g. products in a conveyor belt) or medicine (e.g. fever checking).The development of open-source computer vision (CV) and machine learning (ML) libraries, as OpenCV, allow the fast process of images using simple cameras and computers, such as RaspberryPi. Combining these capabilities with the data acquired through an infrared (IR) thermal camera it is possible to monitor objects and bodies. In this master's thesis a real time temperature-monitoring system was developed, oriented towards facial recognition and to measure the subject's forehead temperature. The system is composed by a RaspberryPi and its camera (Module 2) and a thermal camera MLX90640. As a first step, the characteristics of the thermal camera were studied, from existing models describing its performance. The effects of the distance on temperature acquisition were studied, using manual selections of regions of interest (RoI) from thermal images, where the uncertainty on the selection of the RoI and the statistical uncertainty were evaluated, studying the evolution of these uncertainties as the distance increases. Existing models studying the influence of the environment on the temperature measurements through IR imaging have been tested, in order to estimate the influence of the subject-camera distance. The used algorithm for face detection was the Haar-Cascade, implemented at OpenCV. For the final test of the system, a study was made under simulated conditions, using both fake and real faces (with a refresh rate of 32Hz and 8Hz, respectively). Finally, the system was validated with randomly picked subjects. The system's characteristics and its limitations were then summarized from the obtained results.