Neural and behavioral correlates of decision confidence

Abstract

Confidence judgments are a central example of metacognition—knowledge about one’s own cognitive processes. According to this metacognitive view, confidence reports are generated by a second-order monitoring process based on the quality of internal representations about beliefs. Although neural correlates of decision confidence have been recently identified in humans and other animals, it is not well understood whether there are brain areas specifically important for confidence monitoring. To address this issue we designed a post-decision temporal wagering task in which rats expressed choice confidence by the amount of time they were willing to wait for rewards. In this task rats had to choose amongst two options, going to a choice location either on the left or right. Evidence for correctness of choice was given by a odor stimulus. After a decision was made rats would have to wait for reward. They were willing to wait longer for a reward when expecting it to be correct. And this was difficulty dependent - longer waiting times were observed after correct easy choices. Furthermore we have shown that a normative model can quantitatively account for waiting times based on the computation of decision confidence, establishing a computational framework for studying decision reports, which puts aside semantic descriptions. Next we have pharmacologically inactivated the orbitofrontal cortex (OFC) of rats performing the waiting time task. This inactivation disrupted waiting-based confidence reports - waiting time was less dependent of correctness and difficulty of decision. But this manipulation did not affect decision accuracy. These results establish an anatomical locus for a metacognitive report, confidence judgment, distinct from the processes required for perceptual decisions. Difficult decisions can occur because stimuli are hard to perceive or because the rules of what should be done given a certain stimulus are uncertain to the decision maker. We would like to understand how this second form of uncertainty is represented by the brain and may be assessed and used for adaptive behavior. Neural correlates of perceptual decision confidence have been previously found in the OFC of rats. OFC and ventral striatum (VS) are two brain regions implicated in behavioral supervision and outcome evaluation. To better understand the role of OFC and VS in the computation of decision confidence and behavior adaptation tuned by confidence signals we have recorded single unit activity from these two regions from rats performing the waiting time task. We have found populations of cells in both OFC and VS whose activity was correlated with decision confidence and waiting time, soon after decision was made. These results have further explored the functions of OFC in confidence based guided decisions and added the basal ganglia to the circuitry involved in decision confidence computations. Perceptual categorical decisions take place based both in stimulus information and reinforcement-related factors, such as the value of outcomes. When a decision is uncertain animals bias their choices in favor of the most rewarding option. While choices can be biased by value, it is not clear if reward magnitude affects decisions based on confidence. To better understand the effect of reward in post-decision confidence judgments we have trained rats to perform a modified version of the waiting task with a block-wise reward manipulation. In blocks of trials animals were offered a higher reward amount for one of the options. We have observed that the reward manipulation biased animals choices towards the most rewarding option. It also affected their performance. Decisions away from the highest rewarding option were more accurate. Nevertheless this reward manipulation did not alter the waiting time confidence report. Rats were waiting the same amount of time when expecting a smaller or a larger amount of reward. By devising a signal-detection-theory based model which assumed a dual-route processing of confidence we were able to explain, our accuracy, choice and waiting time behavioural results. In this model two opposite factors - a confidence estimate which is biased by reward, and a unbiased confidence estimate - interact to give rise to a confidence report. This theoretical framework further explores a distinction between perceptual decisions and confidence estimates. Taken together the results portrayed in this dissertation can be applied to build up normative theories of human decision-making and establish the neural circuitry involved in producing confidence judgments. The results have implications in our understanding of how do people evaluate their decisions and can further adapt and optimize behavior in the face of an uncertain, complex and ever-changing environment.

Os juízos de confiança são exemplos centrais da metacognição – conhecimento acerca dos processos cognitivos de cada um. De acordo com a visão metacognitiva, os relatos de confiança são gerados por um processo de monitorização de segunda-ordem, baseado na qualidade das representações internas sobre crenças próprias. Apesar dos correlatos neurais de confiança nas decisões terem sido recentemente identificados em humanos e noutros animais, não é ainda muito claro se existem regiões do cérebro especialmente importantes na monitorização da confiança. De forma a explorar este assunto criámos uma tarefa comportamental de aposta temporal pós-decisão onde ratos expressam confiança relacionada com a escolha, através da quantidade de tempo que estão dispostos a esperar por recompensas. Nesta tarefa os ratos tiveram de escolher entre duas opções - deslocarem-se para uma zona à sua esquerda ou à sua direita. A evidência para efectuar uma decisão correcta era dada por um estímulo odorífero. Depois de uma decisão ter sido feita os animais esperavam por recompensa. Estavam dispostos a esperar mais tempo por uma recompensa quando previam que a decisão fosse acertada. Este tempo era também dependente da dificuldade da decisão – tempos de espera maiores foram observados em decisões fáceis e correctas. Posteriormente demonstrámos que um modelo normativo conseguia prever quantitativamente os tempos de espera, baseados na computação da confiança nas decisões, estabelecendo um sistema computacional para o estudo de relatos de confiança, que descarta descrições semânticas. De seguida inactivámos farmacologicamente o córtex orbitofrontal (OFC) de ratos enquanto estes efectuavam a tarefa comportamental de “tempo de espera”. Esta manipulação perturbou os relatos de confiança baseados no tempo de espera que se tornou menos dependente do facto da decisão ser ou não correcta, e também da sua dificuldade. No entanto a manipulação não alterou a performance dos animais. Estes resultados estabelecem um locus anatómico para relatos cognitivos, julgamentos de confiança, distinto dos processos necessários para formar decisões perceptuais. Decisões difíceis podem ocorrer porque os estímulos são difíceis de percepcionar ou porque as regras que definem o que se deve fazer em resposta as estímulos apresentados são incertas para o decisor. Nós gostaríamos de perceber melhor como é que esta segunda forma de incerteza é representada no cérebro e pode ser avaliada e usada para comportamentos adaptativos. Correlatos neurais de confiança em decisões perceptuais foram já descobertos no OFC de ratos. O OFC e o estriado ventral (VS) são duas regiões cerebrais implicadas na supervisão comportamental e avaliação de resultados. Para melhor perceber o papel do OFC e do VS na computação da confiança nas decisões e na adaptação comportamental sintonizada por sinais de confiança nós registámos a actividade de neurónios individuais situados nestas duas regiões, enquanto ratos efectuavam a tarefa comportamental de tempo de espera. Encontrámos populações de neurónios, em ambas as regiões, cuja actividade estava correlacionada com a confiança nas decisões e com o tempo de espera, logo após os ratos terem feito a sua escolha. Estes resultados exploraram mais além a função do OFC em decisões baseadas no nível de confiança, e adicionaram os gânglios de base ao circuito envolvido na computação de confiança nas decisões. As decisões perceptuais categóricas acontecem baseadas tanto na informação sensorial como em factores relacionados com o reforço, tais como os valores da recompensa. Quando uma decisão é incerta os animais enviesam as suas escolhas a favor da opção mais reforçadora. Se por um lado é sabido que as escolhas são enviesadas pelo valor não é claro como é que a magnitude da recompensa afecta decisões baseadas na confiança. Para melhor perceber o efeito da recompensa em julgamentos de confiança após a decisão treinámos ratos para efectuar uma versão modificada da tarefa do tempo de espera, com uma manipulação de recompensa. Em conjuntos de ensaios era oferecido aos animais uma maior quantidade de recompensa por casa decisão correcta, para uma das localizações. Observámos que a manipulação da recompensa enviesou a escolha dos animais na direcção da opção mais recompensadora. Esta manipulação também afectou a sua performance. Decisões para o lado oposto à opção mais recompensadora foram mais correctas. Não obstante, esta manipulação da quantidade de recompensa não alterou os relatos de confiança baseados no tempo de espera. Os ratos esperavam a mesma quantidade de tempo enquanto esperavam pela recompensa maior ou pela recompensa menor. Posteriormente conseguimos explicar os resultados comportamentais de performance, escolha e tempo de espera, formulando um modelo baseado em princípios de teoria de detecção de sinal. Neste modelo dois factores opostos – uma estimativa de confiança enviesada pela recompensa, e outra estimativa de confiança não enviesada – interagem para dar lugar a um relato de confiança. Esta estrutura teórica explora também a hipótese de que existe uma distinção entre decisões perceptuais e estimativas de confiança. Os resultados publicados nesta dissertação podem ser aplicados na construção de teorias normativas de tomadas de decisão por humanos, e constroem o circuito neuronal envolvido na produção de julgamentos de confiança. Estes resultados trazem implicações na forma como percebemos como é que as pessoas avaliam as suas decisões e adaptam e optimizam o seu comportamento face a um mundo incerto, complexo e pleno em mudança.