Classification of Social Media Posts according to their Relevance

Abstract

Given the overwhelming quantity of messages posted in social networks, in order to to make their utilization more productive, it is imperative to lter out irrelevant information. This work is focused on the automatic classi cation of public social data according to its potential relevance to a general audience, according to journalistic criteria. This means ltering out information that is private, personal, not important or simply irrelevant to the public, improving the the overall quality of the social media information. A range of natural language processing toolkits was rst assessed while performing a set of standard tasks in popular datasets that cover newspaper and social network text. After that, di erent learning models were tested, using linguistic features extracted by some of the previous toolkits. The prediction of journalistic criteria, key in the assessment of relevance, was also explored, using the same features. A new classi er uses the journalist predictions, made by an ensemble of linguistic classi ers, as features to detect relevance. The obtained model achieved a F1 score of 0.82 with an area under the curve(AUC) equal to 0.78.

Dada a grande quantidade de dados publicada em redes sociais, e imperativo ltrar informa c~ao irrelevante. Este trabalho foca-se na detec c~ao autom atica de dados sociais p ublicos de acordo com a sua relev^ancia para a audi^encia em geral. Isto signi ca ltrar informa c~ao que e privada, pessoal, n~ao importante, ou simplesmente irrelevante para o p ublico, melhorando assim a qualidade da informa c~ao. Um conjunto de ferramentas de linguagem em processamento natural e testado em uma s erie de tarefas padr~ao com um conjunto de dados que cobrem conte udo jornal stico e texto social. Para al em disso, diferentes modelos de aprendizagem s~ao testados, usando caracter sticas lingu sticas extra das atrav es de tarefas de processamento de linguagem natural, bem como crit erios jornal sticos. O sistema nal usa as previs~oes jornal sticas, realizadas por um conjunto de classi cadores lingu sticos, como atributos para detectar relev^ancia. O modelo obtido alcan cou um valor de F1 de 0.82 com uma area debaixo da curva(AUC) igual a 0.78.