AIA-BDE: um Corpo de Perguntas, Variações e outras Anotações

Abstract

Apresentamos neste artigo o corpo AIA-BDE, que tem como principal objetivo a avalia¸c˜ao de sistemas que procuram associar necessidades de informa¸c˜ao expressas em linguagem natural a perguntas com resposta conhecida (i.e., FAQ). Este corpo inclui v´arias perguntas no dom´ınio da Administra¸c˜ao P´ublica em Portugal e respetivas respostas. A 855 dessas perguntas foram adicionadas, manual e automaticamente, formas alternativas de as fazer, a que chamamos varia ¸c˜oes, e que podem ser utilizadas para simular intera ¸c˜oes de humanos. Essas perguntas encontramse classificadas de acordo com a sua origem, com quatro valores poss´ıveis, e tˆem ainda associado um tipo, atribu´ıdo com base na opini˜ao de cinco anotadores. Para al´em de apresentar o AIA-BDE, ilustramos como pode ser utilizado atrav´es de trˆes experiˆencias, com resultados que podem ser vistos como base para melhorias futuras: associa¸c˜ao de varia¸c˜oes `as respetivas perguntas; identifica¸c˜ao autom´atica da origem das varia¸c˜oes; e classifica¸c˜ao autom´atica das perguntas quanto ao seu tipo.

We present the AIA-BDE corpus, which has as main goal the evaluation of computational systems that attempt at assigning questions with known answers (i.e., FAQs) to information needs, expressed in natural language. This corpus includes several questions in the domain of the Portuguese Public Administration and their answers. To 855 of those questions, alternative ways of making them were manually and automatically added. We call them variations and they can be used in the simulation of human user interactions. Such questions are classified according to their source, with four possible values, and have also a question type, based on the opinion of five human annotators. Besides presenting AIABDE, we illustrate how it can be used through three experiments, with results that might be seen as the baselines for future improvements, namely: variation assignment to the original questions; automatic automatic identification of the questions according to their source; and automatic classification of the questions according to their type.