Please use this identifier to cite or link to this item:
https://hdl.handle.net/10316/87897
Title: | Exploração de técnicas para a Resposta Automática a Perguntas por Agentes Conversacionais | Other Titles: | Analysis of Question-Answering Techniques for Conversational Agents | Authors: | Santos, José Pedro Pessoa dos | Orientador: | Oliveira, Hugo Ricardo Gonçalo | Keywords: | Processamento de Linguagem Natural; Similaridade Semântica Textual; Resposta Automática a Perguntas; Agentes Conversacionais; Aprendizagem Computacional; Natural Language Processing; Semantic Textual Similarity; Question Answering; Conversational Agents; Machine Learning | Issue Date: | 20-Sep-2019 | Serial title, monograph or event: | Exploração de técnicas para a Resposta Automática a Perguntas por Agentes Conversacionais | Place of publication or event: | DEI-FCTUC | Abstract: | Esta tese introduz o tema da Resposta Automática a Perguntas por Agentes Conversacionais, cujo interesse tem vindo a crescer ao longo dos últimos anos devido à importância que estes têm na criação de uma relação entre os utilizadores e os produtos que utilizam, por exemplo, através de assistentes pessoais, websites de apoio ao cliente, entre outros.Numa primeira fase foram desenvolvidos modelos para o cálculo da Similaridade Semântica Textual em português com o objetivo de os utilizar para fazer o mapeamento de perguntas feitas por um utilizador e as respetivas respostas. Estes modelos recorrem ao cálculo de caraterísticas textuais entre pares de frases que são utilizadas para treinar algoritmos de aprendizagem computacional supervisionada que lhes atribuem um único valor de similaridade. A avaliação dos modelos foi feita com recurso à coleção da tarefa ASSIN de 2016, e, apesar de não terem atingido a performance do atual estado-da-arte, o seu desempenho está em par com os das melhores equipas participantes.Numa segunda fase, o modelo desenvolvido com melhor desempenho foi integrado num agente de diálogo de domínio específico. Este é capaz de identificar perguntas fora do seu domínio e, assim, responder com base num conjunto de frases de legendas de filmes, o que torna a conversa mais natural. A avaliação foi feita com recurso a variações das perguntas da base de conhecimento do agente, que permitiram quantificar o número de respostas corretas num cenário de diálogo mais próximo da realidade. Os resultados obtidos são promissores e substancialmente melhores do que os das baselines criadas para comparação. This thesis introduces the subject of Question Answering by Conversational Agents, whose interest has been rising over the past few years due to their importance on creating a relationship between consumers and the products they use, for example, through personal assistants, customer support websites, among others.In a first phase, a set of models to compute the Semantic Textual Similarity between sentences in Portuguese were developed with the aim of mapping questions from a user and their corresponding responses. These models required the extraction of textual features between pairs of sentences in order to train a variety of machine learning algorithms that can assign them a single value of similarity. The evaluation of these models resorted to the ASSIN 2016 task collection, and, although they did not reach state-of-the-art performance, it was up to the results obtained by the best participating teams.In a second phase, the model with the best performance was integrated into a domain-specific dialogue agent as its search engine. This agent is capable of identifying out-of-domain interactions and respond to them using a set of movie subtitles, which make the conversation feel more natural. In order to test how well the agent performed, a set of variations of the questions in the agent's knowledge-base were created. These allowed to quantify the number of correct responses in a more realistic conversational environment. The results were promising and substantially superior to the baselines developed. |
Description: | Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia | URI: | https://hdl.handle.net/10316/87897 | Rights: | openAccess |
Appears in Collections: | UC - Dissertações de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
JoséSantos.pdf | 1.32 MB | Adobe PDF | View/Open |
Page view(s)
186
checked on Apr 23, 2024
Download(s)
323
checked on Apr 23, 2024
Google ScholarTM
Check
This item is licensed under a Creative Commons License