The neurobehavioral correlates of social exploration in naturalist settings in normal and autistic subjects: a clinical informatics approach

Abstract

The ability to engage in social interactions is one of the most captivating aspects of human nature. As we develop our social skills throughout life, they become important tools for our integration in the society. However, for some people – like individuals with Autism Spectrum Disorder (ASD) – engagement in adaptive social interactions are far from being intuitive. In this thesis we aimed to better understand core aspects of social interactions in autism and typically developed controls using virtual reality simulations to improve the ecology of experimental paradigms and, with that knowledge, develop techniques to characterize and rehabilitate those deficits. We focused on the processing of facial expressions (FE), which is a core aspect of social interactions which is often impaired in ASD. We developed an experimental paradigm to address the processing of FEs, using animated dynamic FEs in virtual avatars and a stringent statistical contrast to isolate such type of processing. We were able to identify a brain region over-recruited by the ASD group during the visualization of FEs of the “other”: the right precuneus. To the best of our knowledge, this region was never reported as altered for ASD participants in studies with static stimuli, but several tasks requiring perspective taking and theory of mind showed the recruitment of this area, thus confirming the importance of combining ecological stimuli and well-defined statistical contrasts to identify neural correlates of social interactions that would not be retrieved otherwise. Moreover, we explored the mental imagery of FEs as a mean for brain modulation in ASD, which revealed group differences in the same region identified by the dynamic FE stimuli, especially for the theta frequency band. Furthermore, we identified a group of features extracted from topographical regions correspondent to the right precuneus, from the theta and high-beta/gamma frequency bands, that were able to accurately differentiate the groups, using statistical classifiers. Those features can now be explored as biomarkers to aid the diagnosis or, after further validation studies, as outcome measures of interventions that tackle FE processing deficits. Furthering the idea of using mental imagery of FEs as a mean of controlling brain activity, we developed a fMRI-based neurofeedback approach that uses this method to modulate activity in the posterior superior temporal sulcus (pSTS) region as a mean for intervention in ASD. We focused our efforts in transferring this approach to an EEG setup, which could be used in domiciliary settings and with much lower costs. We identified a set of features (at the scalp and source level) that relate to the fMRI localized BOLD activity and combined them with machine learning algorithms to predict the BOLD activity at the pSTS region, while considering different approaches for dealing with the hemodynamic delay. We showed that our proposed feature set (especially the nonlinear ones) improve the prediction accuracy of the literature models and the convolution of the predictors with multiple hemodynamic response functions (HRFs) with variable peak latencies provide a more robust way to deal with the hemodynamic delay of the BOLD signal, since it explores the inter- and intra-subject HRF variability. Finally, we approached virtual reality as a mean to integrate rehabilitation approaches in ASD. We implemented a paradigm based on a simple social measure – the interpersonal distance – and measured in a real setting and in a virtual replication of the environment. Our results showed a good replicability of the distances measured in the real and virtual environments, with high correlation levels between environments, with a rescaling factor present for the control group (anisometry between real and virtual worlds). We then developed a pilot interventional study of behavioral training of ASD using a virtual reality serious game. Participants used our system for three sessions where they followed the common steps for taking a bus in the virtual environment. The system measured the electrodermal activity of the participants and automatically adapted the environment noise based on their stress level. We observed a significant improvement in the outcome measures and a reduction of stress during the task. Looking into a possible generalized application of this and future solutions, we developed the Neurohab system for therapeutics and clinicians remotely monitoring the performance of the participants along the sessions. In sum, this thesis aimed at the understanding of social deficits in ASD and aid their rehabilitation, from a clinical informatics perspective, supported on an integrative solution between knowledge derived from neuroimaging and virtual rehabilitation simulations.

A capacidade de realizar interações sociais adaptativas representa um dos aspetos mais cativantes da cognição humana. As competências sociais que desenvolvemos ao longo da vida são ferramentas importantes para nossa integração na sociedade. No entanto, para algumas pessoas – como os indivíduos com o Perturbação do Espectro do Autismo (PEA) – as interações sociais estão longe de serem executadas de forma intuitiva. Nesta dissertação procurámos entender melhor os aspetos centrais das interações sociais em indivíduos com PEA e com desenvolvimento normal usando simulações de realidade virtual para aumentar a ecologia dos desenhos experimentais e, com esse conhecimento, desenvolver técnicas para caracterizar e reabilitar as dificuldades sociais associadas na PEA. Focámos o estudo no processamento de expressões faciais (EF), um aspecto central das interações sociais, muitas vezes alterado na PEA. Desenvolvemos um paradigma experimental para abordar o processamento de EFs, usando EFs dinâmicas animadas em avatares virtuais e um contraste estatístico rigoroso para isolar esse tipo de processamento. Com isso identificámos uma região cerebral recrutada excessivamente pelo grupo PEA durante a visualização de EFs no “outro”: o precuneus direito. Esta região nunca foi reportada como alterada para participantes com PEA em estudos usando estímulos estáticos, mas várias tarefas que exigiam a tomada de perspetiva do outro e teoria da mente mostraram o recrutamento dessa área, confirmando assim a importância de combinar estímulos ecológicos e contrastes estatísticos bem definidos para identificar correlatos de interações sociais que não seriam visíveis de outra forma. Além disso, explorámos a imaginação de EFs como um meio para a modulação da atividade cerebral pela PEA, que revelou diferenças de grupo na mesma região, especialmente para a banda de frequência teta. Identificamos também um conjunto de características extraídas de regiões topográficas correspondentes ao precuneus direito, a partir das bandas de frequência teta e beta-alta/gama, capazes de diferenciar com precisão os grupos, utilizando classificadores estatísticos. Essas características podem agora ser exploradas como biomarcadores para auxiliar o diagnóstico ou, após estudos adicionais de validação, como medidas de avaliação de intervenções focadas no processamento de EFs. Usando a ideia de usar a imaginação de EFs como um meio de controlar a atividade cerebral, desenvolvemos uma abordagem de neurofeedback baseada em fMRI que usa este método para modular a atividade na região posterior do sulco temporal superior (pSTS) como meio de intervenção na PEA. Focámos o trabalho na transferência dessa abordagem para uma configuração de EEG, que poderia ser usada em ambientes domiciliares e com custos muito menores. Identificámos um conjunto de características (ao nível do escalpe e da fonte) relacionados com a atividade BOLD de interesse e combinámo-las com algoritmos de aprendizagem automática para prever esse sinal, considerando diferentes abordagens para lidar com o atraso da resposta hemodinâmica. Mostramos que o conjunto de características proposto (especialmente as não lineares) melhoram a qualidade da predição dos modelos presentes na literatura, e que a convolução dos preditores com múltiplas funções de resposta hemodinâmica com picos de latência variável explora com mais eficiência a variabilidade intra e inter-individuo. Finalmente, abordámos o uso da realidade virtual para abordagens de reabilitação na PEA. Implementámos um paradigma baseado numa medida social simples – a distância interpessoal – medida num ambiente real e numa replicação virtual desse mesmo ambiente. Os resultados mostraram uma boa replicabilidade das distâncias medidas nos dois ambientes, com níveis de correlação elevados, com o grupo de controlo a apresentar um efeito de reescalonamento (anisometrica entre o mundo real e virtual). Desenvolvemos então um estudo piloto de intervenção na PEA para treino comportamental usando um jogo sério de realidade virtual. Os participantes usaram o sistema em três sessões, nas quais seguiram os passos comuns para viajar de autocarro, num ambiente virtual. O sistema mediu a atividade eletrodérmica dos participantes e adaptou automaticamente o ruído ambiente com base nos seus níveis de stress. Observámos uma melhoria significativa nas medidas de avaliação e uma redução do stress medido durante a tarefa. Projetando a aplicação generalizada desta e outras aplicações, desenvolvemos o sistema Neurohab para que terapeutas e clínicos possam monitorizar remotamente o desempenho dos participantes ao longo das sessões. Em suma, esta tese visou o estudo dos défices sociais na PEA e a sua reabilitação, seguindo uma abordagem de informática clínica, numa solução integrativa apoiada no conhecimento extraído de simulações virtuais ancoradas em técnicas de neuroimagem funcional.