Exploração de técnicas para a Resposta Automática a Perguntas por Agentes Conversacionais

Abstract

Esta tese introduz o tema da Resposta Automática a Perguntas por Agentes Conversacionais, cujo interesse tem vindo a crescer ao longo dos últimos anos devido à importância que estes têm na criação de uma relação entre os utilizadores e os produtos que utilizam, por exemplo, através de assistentes pessoais, websites de apoio ao cliente, entre outros.Numa primeira fase foram desenvolvidos modelos para o cálculo da Similaridade Semântica Textual em português com o objetivo de os utilizar para fazer o mapeamento de perguntas feitas por um utilizador e as respetivas respostas. Estes modelos recorrem ao cálculo de caraterísticas textuais entre pares de frases que são utilizadas para treinar algoritmos de aprendizagem computacional supervisionada que lhes atribuem um único valor de similaridade. A avaliação dos modelos foi feita com recurso à coleção da tarefa ASSIN de 2016, e, apesar de não terem atingido a performance do atual estado-da-arte, o seu desempenho está em par com os das melhores equipas participantes.Numa segunda fase, o modelo desenvolvido com melhor desempenho foi integrado num agente de diálogo de domínio específico. Este é capaz de identificar perguntas fora do seu domínio e, assim, responder com base num conjunto de frases de legendas de filmes, o que torna a conversa mais natural. A avaliação foi feita com recurso a variações das perguntas da base de conhecimento do agente, que permitiram quantificar o número de respostas corretas num cenário de diálogo mais próximo da realidade. Os resultados obtidos são promissores e substancialmente melhores do que os das baselines criadas para comparação.

This thesis introduces the subject of Question Answering by Conversational Agents, whose interest has been rising over the past few years due to their importance on creating a relationship between consumers and the products they use, for example, through personal assistants, customer support websites, among others.In a first phase, a set of models to compute the Semantic Textual Similarity between sentences in Portuguese were developed with the aim of mapping questions from a user and their corresponding responses. These models required the extraction of textual features between pairs of sentences in order to train a variety of machine learning algorithms that can assign them a single value of similarity. The evaluation of these models resorted to the ASSIN 2016 task collection, and, although they did not reach state-of-the-art performance, it was up to the results obtained by the best participating teams.In a second phase, the model with the best performance was integrated into a domain-specific dialogue agent as its search engine. This agent is capable of identifying out-of-domain interactions and respond to them using a set of movie subtitles, which make the conversation feel more natural. In order to test how well the agent performed, a set of variations of the questions in the agent's knowledge-base were created. These allowed to quantify the number of correct responses in a more realistic conversational environment. The results were promising and substantially superior to the baselines developed.