ANSA: Natural Language Search Analytics

Abstract

Nos dias de hoje, a análise dos dados bem como a aplicação de algoritmos de Machine Learning, não está ao alcance de qualquer utilizador, uma vez que são necessários conhecimentos para a execução e aplicação dos algoritmos pretendidos. Desta forma, a motivação deste estágio consiste na criação da possibilidade de utilizadores sem experiência e conhecimento de Machine Learning, conseguirem aplicar algoritmos referentes à área da data science e, por outro lado, permitir que utilizadores como data scientists, tenham o seu trabalho facilitado. De acordo com esta motivação e no contexto do projeto, foi pretendido adicionar um módulo responsável por todas as tarefas de data science, a uma plataforma chamada ANSA, desenvolvida pela Critical Software. Esta plataforma corresponde a uma ferramenta de análise de dados, que permite a interação do utilizador com os seus dados através do processamento de linguagem natural.O módulo consistiu num micro-serviço que fornece capacidades à plataforma ANSA de executar várias tarefas de Data Science sobre um determinado conjunto de dados, como por exemplo aplicar algoritmos de machine learning ou obter análises autónomas sobre os dados.Esta solução foi desenvolvida e integrada na plataforma ANSA, acrescentando atualmente novos gráficos e novas funcionalidades como clustering, descrição e correlação entre atributos, forecasting e, identificação de outliers, permitindo que qualquer utilizador realize questões em linguagem natural para executar estas operações.Para além do micro-serviço e da integração com a plataforma ANSA, resultou ainda um conjunto de testes desenvolvidos sobre as funcionalidades implementadas, bem como este documento que explica o trabalho desenvolvido.

In current times, data analysis and the implementation of Machine Learning algorithms is not within reach for most users since knowledge about the execution and application of such algorithms is needed. Thus, the intent of this internship focuses in creating the possibility for users without any experience or knowledge on Machine Learning to be able to apply data science algorithms and, on the other hand, to help actual data scientists with their work. Going towards this intent and on the projects context itself, it was supposed to add a module responsible for all data science tasks to a platform called ANSA developed by Critical Software.This platform corresponds to a data analysis tool that allows a user to interact with its data through natural language processing. The module consisted of a micro-service that makes the ANSA platform able to execute different Data Science tasks on a predetermined data set such as, for example, apply machine learning algorithms or get autonomous analysis on data. This solution was developed and integrated on the ANSA platform, adding new graphs and functionalities such as clustering, description and correlation of attributes, forecasting and outlier identification, allowing any user to ask questions in natural language related with these operations. Beyond the micro-service and the interaction with the ANSA platform, resulted a series of tests developed on the implemented functionalities as well as this document that elaborates on all the work made.