Assessing Emotional States from Biosignals in Autistic and Neurotypically Developed Individuals

Abstract

The increase in Autism Spectrum Disorder’s (ASD) prevalence over the last decades has accentuated the need to develop new and improved rehabilitation techniques that can reach a larger part of this population. This quest has resulted in the development of computerized alternatives, frequently in the form of gamified tasks that, being low cost and portable, serve as a complement to traditional therapy, optimizing and consolidating its effects, or, in some cases, being the only type of therapy that the patient can have access to. These new rehabilitation alternatives, however, still bear some limitations. ASD is often associated with hypersensitivity, which means that the presentation of the wrong stimuli can have a negative effect on the subject and lead to his disengagement from the computerized therapy, compromising its efficacy. That is why the next step must be to make the games capable to adapt to their users and their emotional responses. Although there are different ways through which one expresses emotion, none of them is as reliable as the autonomic nervous system’s (ANS) response, which cannot be simulated.Motivated by these issues, this dissertation focused upon the physiological measures of the ANS and their relationship with the individual’s emotional state, with a special focus on the ASD case. However, considering the association of this disorder with emotional dysregulation, the identification of the subject’s true emotional state is a real concern and should not be dependent upon other people’s interpretation, or even his own. That is why, as part of a bigger goal, our set of physiological signals was acquired simultaneously with functional Magnetic Resonance Imaging (fMRI), while the participants completed a task designed to elicit different emotions classified in the two dimensions of valence and arousal, with the prospect of combining biosignals and fMRI to create models capable of assessing the true emotional state of their users based on the physiological response, having as ground truth the activity of targeted brain regions.Focusing on the information contained in the physiological signals, to assess whether the simultaneous acquisition of fMRI and biosignals is feasible, we first investigated their quality and the interference posed by the Magnetic Resonance (MR) environment, by comparing them with recordings obtained outside the MR scanner, thus free of its influence, for the same experimental task. Then, the signals were pre-processed and segmented according to the events of interest, which were labelled in two different ways: according to the subject’s perception of his emotional response and using the pre-established emotional connotation of the stimuli, both based on the two-dimensional space of valence and arousal. A total of 70 features were then extracted from the physiological signals, for each segment. The resulting dataset was used to train and test four different machine learning algorithms: Minimum Distance Classifier, K-Nearest Neighbours and Support Vector Machines with linear and Radial Basis Function kernels. The simultaneous acquisition of physiological signals and fMRI was validated, with the comparison between the recordings acquired inside and outside of the scanner not suggesting any major quality differences that can be attributed to the MR. This opens the door to a wide range of applications involving the understanding of the relationships between brain response and its translation in the peripheral nervous system. Some issues related to the data acquisition setup, however, did compromise the quality of some of the biosignals, resulting in information loss and consequently also compromising the discriminative power of the extracted features. That said, overall, the classification outcomes were suboptimal, underlining the challenging nature of automatic emotion assessment. These results call for further exploration of the measured signals and the features extracted from them, to refine and improve their discriminative power. Moreover, there is the possibility that the stimuli employed were not sufficiently strong to offset significant emotional and physiological reactions in the participants. Hence, it would be important to try different stimuli with varying emotional classifications and intensities.

O aumento da prevalência da Perturbação do Espectro do Autismo (PEA) nas últimas décadas acentuou a necessidade de desenvolver novas e melhoradas técnicas de reabilitação que sejam acessíveis à maior parte desta população. Essa procura resultou no desenvolvimento de alternativas computorizadas, frequentemente na forma de tarefas gamificadas que, sendo portáteis e de baixo custo, servem como complemento à terapia tradicional, otimizando e consolidando os seus efeitos, sendo, em alguns casos, o único tipo de terapia à qual o paciente tem acesso. No entanto, estas novas alternativas de reabilitação, apresentam ainda algumas limitações. A PEA está muitas vezes associada à hipersensibilidade, o que significa que a apresentação do tipo de estímulos errado pode afetar negativamente o sujeito e levar à rejeição desta terapia, comprometendo a sua eficácia. É por isso que o próximo passo deve passar por tornar os dispositivos que albergam estes jogos educativos sensíveis aos seus utilizadores e às suas respostas emocionais. Embora existam diferentes canais através dos quais expressamos as nossas emoções, nenhum deles será tão fiável quanto a resposta do sistema nervoso autónomo (SNA), não passível de ser simulada.Motivada por estas questões, esta dissertação foca nas medidas fisiológicas do SNA e na sua relação com o estado emocional do indivíduo, com especial atenção ao caso da PEA. No entanto, considerando a associação desta perturbação com desregulação emocional, a identificação do verdadeiro estado emocional do sujeito é um fator importante e não deve depender da interpretação de outras pessoas, ou mesmo do próprio sujeito. É por isso que, estando este trabalho integrado num projeto mais abrangente, o conjunto de sinais fisiológicos utilizado aqui foi adquirido em simultâneo com ressonância magnética funcional (fMRI), enquanto os participantes completavam uma tarefa desenhada para evocar várias emoções, classificadas no espaço bidimensional de valência e ativação, com a perspetiva de combinar biossinais e fMRI para criar modelos capazes de avaliar o verdadeiro estado emocional dos seus utilizadores com base na resposta fisiológica, tendo como verdade fundamental a atividade cerebral.Ao focarmo-nos apenas nos sinais fisiológicos, para avaliar se a aquisição simultânea de fMRI e biossinais é viável, a sua qualidade e a influência que o ambiente da Ressonância Magnética (RM) teve sobre eles foi investigada e comparada com as medições obtidas, com a mesma tarefa experimental, fora da RM e, portanto, livre da sua influência. Em seguida, os sinais foram pré-processados e segmentados de acordo com os eventos de interesse, os quais foram rotulados de duas formas diferentes: de acordo com a perceção do sujeito da sua resposta emocional e usando a classificação emocional pré-estabelecida de cada estímulo, ambos baseados no espaço bidimensional de valência e ativação. De seguida, um total de 70 features foram extraídas dos biossinais, para cada segmento. Os dados resultantes foram usados para treinar e testar quatro algoritmos de Machine Leaning: Minimum Distance Classifier, K-Nearest Neighbours e Support Vector Machines com os kernels de Função de Base Radial e Linear.A aquisição simultânea de sinais fisiológicos e fMRI foi validada, com a comparação entre os sinais adquiridos dentro e fora do scanner não revelando diferenças de qualidade que possam ser atribuídas à RM. Isto abre portas para uma vasta gama de aplicações que envolvem a descodificação das interações entre a resposta cerebral e a sua tradução no sistema nervoso periférico. No entanto, alguns problemas relacionados com as configurações na aquisição de dados comprometeram a qualidade de alguns dos biossinais, resultando na perda de informação e, consequentemente, comprometendo também o poder discriminativo das features extraídas. Posto isto, em geral, os resultados da classificação foram insuficientes, pondo em evidência a natureza desafiante da classificação automática de estados emocionais. Estes resultados exigem uma exploração mais profunda dos sinais e das features extraídas, de modo a refinar e melhorar o seu poder discriminativo. Para além disso, devemos considerar a possibilidade de que os estímulos usados não tenham sido suficientemente fortes para provocar reações emocionais e fisiológicas significativas nos participantes. Por isso, será importante experimentar novos estímulos com diferentes classificações e intensidades emocionais.