Modelo de Inteligência Artificial para inferir automaticamente os estados mentais do paciente associados ao engagement

Abstract

This study addresses a global healthcare challenge: maintaining the engagement of dementia patients in long-term care. Recognising the crucial importance of patient engagement for the success of these treatments, the aim is to identify effective solutions for monitoring and alerting to fluctuations in engagement over time. The increasing use of wearable techniques offers a promising approach to automatically detect such situations and provide timely interventions. This research focuses on developing strategies that leverage Artificial Intelligence to identify patterns of engagement through facial expressions, allowing healthcare professionals to act proactively and optimise patient care.To this end, a dataset consisting of 3,5887 facial images of various people, taken from Kaggle, was initially used. To divide the images into "engaged" and "not_engaged", the clustering technique was used, followed by division into training, test and validation data. To form the ML model, the VGG16, a successful CNN architecture, was used. To make this study as close to reality as possible, a real dataset consisting of video frames of adults over 60 who took part in a brain health education programme was used to test the model already developed and trained.The results show that the model performed well when trained and tested with the first dataset, obtaining values above 90% for the F1-Score, precision and recall metrics. On the other hand, when tested with the second dataset, it achieved values between 40% and 50% in the aforementioned metrics. Analysing varied data sets and collaborating with experts such as neuropsychologist Ana Rita Silva enriched the experimental approach. The discrepancy in the evaluation metrics between the different data sets emphasises the importance of careful selection of test data. These results contribute to advances in health monitoring and intervention, directing future efforts towards a more personalised and effective approach. With the current project, which tests collaboration between humans and Artificial Intelligence, it may be possible to broaden new avenues for processing data and making predictions about adherence to treatments/interventions in chronic diseases.

Neste estudo é abordado um desafio global na área da saúde: a manutenção do \textit{engagement} dos pacientes com demência, em tratamentos de longo prazo. Reconhecendo a importância crucial do envolvimento do paciente para o sucesso destes tratamentos, procura-se identificar soluções eficazes para monitorizar e alertar sobre flutuações, ao nível de empenho ao longo do tempo. A crescente utilização de técnicas de \gls{ia} oferece uma abordagem promissora para detetar automaticamente essas situações e fornecer intervenções oportunas. Esta pesquisa concentra-se em desenvolver estratégias que alavanquem a \gls{ia} para identificar padrões de \textit{engagement}, através das expressões faciais, permitindo aos profissionais de saúde agir proativamente e otimizar o cuidado do paciente.Para isso foi utilizado, inicialmente, um conjunto de dados constituído por 35887 imagens faciais de várias pessoas, retirado do \textit{Kaggle}. Para dividir as imagens em "engaged" e "not\_engaged", foi utilizada a técnica de \textit{clustering} e, em seguida, foi efetuada a divisão em dados de treino, teste e validação. Para formar o modelo de \gls{ml}, foi utilizada a \gls{vgg16}, uma arquitetura \gls{cnn} bem sucedida. Para tornar este estudo o mais próximo da realidade, foi utilizado um conjunto de dados reais, composto por frames de vídeo de adultos com mais de 60 anos que participaram num programa de educação para a saúde do cérebro, para testar o modelo já desenvolvido e treinado.Os resultados mostram que o modelo teve um bom desempenho quando treinado e testado com o primeiro dataset, obtendo valores acima de 90% para as métricas de F1-Score, precision e recall. Em contrapartida, quando testado com o segundo dataset, alcançou valores entre 40% e 50% nas métricas referidas. A análise de conjuntos de dados variados e a colaboração com especialistas, como a neuropsicóloga Ana Rita Silva, enriqueceram a abordagem experimental. A discrepância nas métricas de avaliação entre os diferentes conjuntos de dados, realça a importância da seleção criteriosa de dados de teste. Estes resultados contribuem para o avanço no controlo e intervenção na saúde, direcionando futuros esforços para uma abordagem mais personalizada e eficaz. Com o projeto atual, que testa a colaboração entre humanos e a IA, pode ser possível alargar novos caminhos para o tratamento de dados e fazer previsões sobre a adesão a tratamentos/intervenções em doenças crónicas.