Emotional error signals in the brain: a BCI approach

Abstract

Error monitoring is an automatic and highly important process in our daily life, especially in situations where affective information is involved. Facial expressions constitute one of the most powerful mechanisms of communication, displaying to us the intentions and emotions of those who convey them. It is believed that facial expressions, and consequently emotion recognition processes are altered in Autism Spectrum Disorder (ASD) individuals, which makes their adaptation in social contexts harder. Even though these processes have been studied separately, little is known as to how they interact with each other.The main goal of the present work was to evaluate the viability of a BCI that could modulate error monitoring signals in emotion recognition. The intention was that it could be used as a cognitive training approach with neurofeedback and in perturbations like ASD. For that purpose, we developed a BCI application based on the Emotional Stroop Effect, in which participants must recognize facial expressions with congruent or incongruent labels. To validate the task, we acquired electroencephalographic (EEG) signals of 10 healthy participants, who performed calibration sessions followed by test sessions. Subsequently, we evaluated the electrophysiological responses as well as the automatic classification results. The characteristics of the observed EEG potentials are similar to potentials evoked in other error monitoring tasks found in the literature. The classification results achieved an average result of 67.8 ± 9.6%. The waveforms were shown to be unaffected by conditions such as BCI experience, gender, and nationality, however, classification results were increased in participants with BCI experience. Even though the obtained results cannot reliably allow for an efficient communication, they allow for validation of the task. The possibility of using this task in social and cognitive training in populations like ASD is discussed.

A monitorização de erro é um processo automático e altamente importante no nosso quotidiano, especialmente em situações que envolvam informação afetiva. As expressões faciais constituem um dos mecanismos de comunicação mais poderosos, informando-nos das intenções e emoções de quem as transmite. Em perturbações como o espetro do autismo, pensa-se que os processos de reconhecimento de expressões, e, consequentemente de emoções estejam afetados, o que dificulta a adaptação destes indivíduos em contextos sociais. Apesar destes dois processos já terem sido estudados separadamente, pouco se sabe à cerca de como interagem entre si.O principal objetivo deste trabalho foi o de avaliar a viabilidade de uma interface cérebro-computador (BCI do inglês brain-computer interface) que permitisse modular os sinais de monitorização de erro no reconhecimento de emoções. Pretendia-se que pudesse ser utilizado como abordagem de treino cognitivo com feedback neuronal – neurofeedback – e em perturbações como o espetro do autismo. Para tal, desenvolveu-se uma aplicação BCI baseada no efeito de Stroop emocional, em que os participantes têm de reconhecer expressões faciais com etiquetas congruentes ou incongruentes. De forma a validar esta tarefa, adquiriram-se sinais eletroencefalográficos (EEG) de 10 participantes saudáveis, que realizaram sessões de calibração seguidas de sessões de teste. Posteriormente, avaliaram-se as respostas eletrofisiológicas assim como os resultados de classificação automática. As características dos potenciais EEG observados são similares às de potenciais evocados em tarefas de monitorização de erro presentes na literatura. Foi a primeira vez que uma tarefa de Stroop facial emocional obteve resultados classificáveis com base no efeito de congruência, sendo que estes. Os resultados de classificação atingiram uma média de 67,8 ± 9,6%. Fizeram-se análises com base em diferentes condições, como a experiência em utilização de BCI, género e nacionalidade e mostrou-se que os sinais eletrofisiológicos não são significativamente afetados por nenhum destes fatores, no entanto os resultados de classificação foram superiores para participantes com experiência em BCI. Apesar de não serem muito elevados, os resultados obtidos são bastante promissores, permitindo validar a tarefa e deixando em aberto a possibilidade de utilizar o paradigma aqui desenvolvido numa abordagem de treino social e cognitivo em populações como o espetro de autismo.