Please use this identifier to cite or link to this item:
https://hdl.handle.net/10316/35524
Title: | Wizdee Discovery - Automatic Analysis and Visualization of Information | Authors: | Leal, João Pedro Silva | Orientador: | Machado, Fernando Jorge Penousal Martins | Keywords: | automatic visualization; automated data mining; data mining; machine learning; case based reasoning | Issue Date: | 17-Jul-2015 | Serial title, monograph or event: | Wizdee Discovery - Automatic Analysis and Visualization of Information | Place of publication or event: | Coimbra | Abstract: | Na era das novas tecnologias, grandes quantidades de informação estão a ser criadas a
um ritmo impressionante, no entanto, existe uma grande quantidade de conhecimento
potencialmente importante que ainda está para ser descoberto. Existem dois processos
importantes que podem ajudar na descoberta de novas informações: Análise de Informação
e Visualização de Informação.
Análise de Informação, em particular Data Mining, tem como objetivo descobrir informa
ção útil, como a descoberta de relações entre os dados que eram anteriormente desconhecidas.
No entanto, Data Mining é uma tarefa difícil, que requer tempo e um conhecimento
extensivo das diferentes técnicas e procedimentos envolvidos, tais como a criação
de modelos e otimização de parâmetros.
Por outro lado, Visualização de Informação não produz, por si só, a descoberta de novas
e úteis informações. No entanto, permite expor uma quantidade enorme de informação
através de representações grá cas. Contudo, a criação dessas visualizações é uma tarefa
complexa.
O trabalho descrito neste documento foi desenvolvido na Wizdee, uma empresa especializada
em soluções que representam o estado da arte para a gestão de conhecimento.
De forma a melhorar a plataforma, foram desenvolvidos dois sistemas principais: Data
Mining Automatizado e Visualização Automática. O objetivo principal destes sistemas é
permitir que todos os utilizadores de negócio sejam capazes de utilizar estas tecnologias,
sem a necessidade de ter conhecimento técnico. Ou seja, o sistema desenvolvido permite
responder a questões como "A partir deste conjunto de dados qual é a visualização mais
adequada?" ou "Quais são as razões para perda de oportunidades?", sem necessidade de
intervenção do utilizador.
A abordagem seguida para a Visualização Automática é de Raciocínio baseado em
Casos. Neste documento é apresentada uma descrição detalhada de um novo procedimento
desenvolvido, denominado por Mapeamento de Casos. São também descritos detalhes sobre
o processamento de dados e sua automatização para diferentes tipos de grá cos.
Sobre o sistema de Data Mining Automatizado, é descrito em detalhe o desenvolvimento
de uma arquitetura escalável e exível, que é usada na automatização das diferentes
tarefas de Data Mining. Para cada tarefa, foi desenvolvida uma metodologia que automatiza
cada fase do processo.
É de salientar, que para cada componente desenvolvida, foram realizados diversos testes
utilizando uma avaliação comparativa, sempre que possível. As análises realizadas aos
resultados sugerem que as abordagens usadas são rápidas e e cazes. Por m, é de salientar,
que todos os sistemas desenvolvidos estão integrados e a ser usados na plataforma Wizdee,
o que demonstra a viabilidade das abordagens desenvolvidas num cenário prático. In the age of new technologies, where information is all around us and large amounts of data is being created at an impressive rate, there is a big amount of knowledge that is potentially important, but is yet to be discovered. There are two processes closely related to discovering new information: Information Analysis and Information Visualization. Information Analysis, and in particular Data Mining, has the goal of discovering useful information such as previously unknown relationships in data. However, data mining is a di cult and time consuming task, that requires extensive know-how of the many techniques and procedures, such as creation of appropriate models and parameter tuning. Information Visualization, on the other hand, does not discover useful information on its own. It provides, however, an huge amount of information through graphical representations. Yet, the creation of these visualizations is a di cult task. This work was developed at Wizdee, a company specialized in state of the art solutions for knowledge management. In an e ort to extend and improve the platform, two large systems were developed: Automated Data Mining and Automatic Visualization, where the focus is the enabling of those technologies to any business user, by removing the need for technical knowledge and expertise. The developed systems can answer questions such as "Given this dataset what is the most appropriate visualization?" and "What are the causes for lost opportunities." without needing input from the user. The approach for Automatic Visualization is based on Case Based Reasoning. A detailed explanation of a novel procedure, named Case Mapping, for case retrieval, that is accurate and e cient, is also presented. Furthermore, details about data processing and how that can be automated into creating various types of charts is described. As for the Automated Data Mining, this work describes an approach to design a scalable and exible machine learning architecture, that can be used to automate various data mining tasks. For each task, a methodology was developed that automates each step of the processes. Additionally, for each component, tests were performed using a comparative evaluation when possible, where our analysis suggest that the approaches used are fast and e ective. Finally, the nal implementation was integrated in the platform, showing the viability of the approaches used in a practical scenario. |
Description: | Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra | URI: | https://hdl.handle.net/10316/35524 | Rights: | openAccess |
Appears in Collections: | UC - Dissertações de Mestrado FCTUC Eng.Informática - Teses de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Automated Data Mining and Automatic Visualization.pdf | 8.6 MB | Adobe PDF | View/Open |
Page view(s)
211
checked on Jul 16, 2024
Download(s) 20
1,796
checked on Jul 16, 2024
Google ScholarTM
Check
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.