Evolving Learning Rate Schedulers

Abstract

A escolha de uma boa taxa de aprendizagem é fulcral para o bom treino e performance de Redes Neuronais. Atualmente, existem imensos métodos automáticos que facilitam a busca por uma boa taxa de aprendizagem. Apesar de estas técnicas serem eficazes e produzirem bons resultados ao longo do anos, são soluções generalistas i.e. não tem em conta as caracteristica de uma rede especifica. Dado isto, os possivéis beneficios de optimizar a taxa de aprendizagem para uma topologia de rede especifica permanece inexplorados. Como redes neuronais são sistemas complexos com muitos componentes inderdependentes, não é possivel para um humano inferir como é que um optimizador pode ser especializado para uma certa topologia. Apesar disso, técnicas de optimização heuristica como Algoritmos Evolucionários podem ser utilizados para procurar optimizadores personalizados que funcionem bem para uma arquitetura de rede neuronal especifica.Neste trabalho propomos o AutoLR, um sistema que utiliza Evolução Gramatical Estruturada para evoluir optimizadores de taxas de aprendizagem. Duas versões deste sistema são implementadas para dois tipos de optimizadores. O AutoLR Dinâmico é utilizado para evoluir optimizadores estáticos e dinâmicos. O melhor optimizador dinâmico evoluido tem melhor performance que o optimizador de controlo estabelecido e utiliza algumas técnicas encontradas na literatura. Apesar do LRD atingir bons resultados, os optimizadores evoluidos por este sistema só tem em consideração a taxa de aprendizagem anterior e a época de treino atual. De modo a superar estas limitações desenvolvemos um novo método chamado AutoLR Adaptativo. Esta versão do sistema evolui optimizadores adaptativos que tem acesso a mais informação sobre o treino. Estes optimizadores são capazes de afinar a taxa de aprendizagem para cada peso da rede individualmente, o que os faz geralmente mais eficazes. O optimizador adaptativo evoluido mais notável é capaz de competir com os melhores métodos do estado da arte, conseguindo até superá-los em alguns casos. Por último, o sistema foi capaz de descobrir um novo optimizador, ADES. Tanto quanto sabemos não existem optimizadores adaptativos na literatura que sejam semelhantes ao ADES.

The choice of a proper learning rate is paramount for good Artificial Neural Network training and performance. Currently, a plethora of state of the art automatic methods exist that make the search for a good learning rate easier, called Learning Rate Optimizers. While these techniques are effective and have yielded good results over the years, they are general solution i.e. they do not take into account the characteristics of a specific network. As a result, the possible benefits of the optimization of learning rate for specific network topologies remains largely unexplored. Since neural networks are complex systems with many interdependent components it is not possible for humans to infer how an optimizer can be specialized for a certain network topology. Nevertheless, heuristic optimization techniques such as Evolutionary Algorithms can be used to search for custom optimizers that work well for specific network architectures.In this work we propose AutoLR, a framework that uses Structured Grammatical Evolution to evolve learning rate optimizers. Two versions of this system are implemented for different types of optimizers. Dynamic AutoLR is used to evolve static and dynamic learning rate optimizers. The best evolved dynamic optimizer outperforms the established baseline and utilizes some techniques found in the literature. Even though DLR achieved good results the optimizers evolved by this system only take into account the previous learning rate and current training epoch. In order to overcome these limitations we devised a new method called Adaptive AutoLR. This version of the system evolves adaptive optimizers that have access to more information about training. These optimizers are able to fine tune a different learning rate for each network weight which makes them generally more effective. The most notable evolved adaptive optimizer is able to perform on par with the best state of the art methods, even outperforming them in some scenarios. Furthermore, the system was able to automatically discover a novel optimizer, ADES. To the best of our knowledge, no adaptive optimizers present in the literature are similar to ADES.