Automatic Evolution of Deep AutoEncoders

Abstract

In this work we have created a versatile evolutionary algorithm that can evolve an auto encoder neural network structure in an attempt to maximize the performance of different classifiers by using the resulting compressed version of the instances. During this process the algorithm searches for structures that compress as much as possible the representation to facilitate the classifiers training while maintain the necessary information in the datasets.This approach is set around the evolution of the number and size of the layers of a deep autoencoder, which is then trained using back propagation in a semi supervised fashion. The tests executed spanned multiple classifiers, and show promising results in which we observed an overall improvement in the classification on most the cases and, as expected, significant decrease in the training times.On the context of this thesis, a methodical approach was taken to analyze the impact that an autoencoder has, and how it behaves when its structure is evolved by means of Evolutionary Computation. As a stepping stone for the final work, preliminary experiments were performed, where multiple auto encoders were implemented and tested to confirm their correct behaviour and performance. To complement this a an evolutionary algorithm was tested in order to assess the usefulness and potential of evolving the structures, without imposing any restrictions on their shape.11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111

No decorrer desta dissertação foi criado um algoritmo evolucionário altamente versátil capaz de evoluir com sucesso a estrutura de um rede neural de auto encoder, que procura maximizar a performance de diferentes classificadores. Durante este processo, o algoritmo procura maximizar a compressão de forma a facilitar a tarefa de treino dos classificadores sem que exista perda de performance dos mesmos.Esta abordagem consiste na evolução do número de camadas e número de neurónios presentes em cada uma, sendo a estrutura treinada de forma semi supervisionada através de retropropagação. Foram executados testes sobre um leque variado de classificadores, onde observámos uma melhoria na sua performance bem como uma significativa redução nos tempos de treino.No contexto desta tese , consta tambem uma análise metódica sobre o funcionamento e performance de autoencoders profundos e quais são as vantagens práticas de evoluir a sua estrutura. Como primeiro passo, no decorrer do trabalho, foram testados múltiplos autoencoders e abordagens evolucionárias de forma a confirmar o seu comportamento e performance.11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111 11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111 11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111 11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111 11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111