TECo: Automatic Selection and Adaptation of Creative Text in Context

Abstract

Dentro da Inteligência Artificial, a área da Criatividade Computacional tem recebido cada vez mais atenção. Dentro desta, a sub-área Criatividade Linguística está na moda, visto que se têm revelado novas soluções para a geração de linguagem, também suportada por avanços recentes na área do Processamento de Linguagem Natural. O trabalho descrito nesta tese situa-se no âmbito das áreas já mencionadas. Desenvolveu um sistema que, dado um texto curto como input, e.g. um título de notícia, é capaz de analisar o seu contexto. Subsequentemente, o sistema tem duas tarefas principais: (i)~seleccionar uma expressão, e.g. um provérbio ou um título de filme, de modo a que seja a mais adequada para o contexto do input} (ii)~gerar uma nova expressão através de métodos de adaptação, de modo a aproximar a expressão ao contexto do input} A maior parte dos sistemas actuais focam-se maioritariamente na língua Inglesa, e o sistema desenvolvido no âmbito desta tese, chamado TECo: Texto Em Contexto, dedica-se inteiramente à língua Portuguesa e, mais especificamente, ao uso de linguagem figurativa.Considerando a primeira tarefa, diversas abordagens foram exploradas, desde métricas mais simples como o coeficiente de Jaccard, até representações mais populares e tradicionais como Word Embeddings, e ainda representações contextuais do estado-da-arte baseadas em Transformers, almejando tirar conclusões em relação à qualidade das expressões seleccionadas.A segunda tarefa requereu uma investigação e desenvolvimento de novas metodologias para adaptar texto baseado no contexto do input. Três novos métodos foram criados, implementados, e testados, de modo a tirar conclusões acerca dos diferentes desafios propostos pela língua Portuguesa.Os resultados obtidos mostram que as expressões geradas tiveram sucesso em termos de se aproximarem do contexto do texto dado, produzindo conteúdo novo e original, ainda que existam melhorias a implementar no futuro, particularmente a nível de humor.

Within Artificial Intelligence, the cluster of Computational Creativity has been receiving more attention as of late. In addition, its sub-field of Linguistic Creativity is trending with novel solutions for language generation, also supported by recent advances in Natural Language Processing. The work of this thesis is in the scope of the previous areas. It studies the development of a system that, given a short-text, e.g. a news headline, analyses its context for further utilization. Subsequently, the system aimed to achieve success in two different tasks: (i)~the selection of an expression, e.g. a proverb or a movie title, which is most adequate for the given input's context; (ii)~the generation of an expression, through adaptation methods, in such a way that it is semantically related to the input's context. As most of current systems dedicate their focus mainly to the English language, the system developed in the scope of this thesis, named TECo: Texto Em Contexto (Text in Context), is dedicated entirely to the Portuguese language, and, more specifically, to the usage of figurative language.Considering the first task, several approaches were explored, from simpler metrics such as the Jaccard coefficient, to the popular and traditional Word Embeddings, to state-of-the-art contextual embeddings based on Transformers, aiming to draw conclusions regarding the quality of the selected proverbs. The second challenge required the research and development of new methodologies to adapt text based on a context. Three new methods were designed, implemented and tested, in order to draw conclusions on the different challenges proposed by the Portuguese language.The obtained results show that the generated expressions were successful in terms of approximating to the input's context, producing novel and original content, despite some improvements that should be implemented in future endeavours, particularly concerning humour.