Exploring Stochastic Computing applied to Artificial Perception - A Convolutional Neural Network implementation on Reconfigurable Logic

Abstract

A Computação Estocástica é um método de computação que realiza operações baseadas em probabilidade, permitindo circuitos simples com baixo consumo de energia e significativa tolerância a falhas. As Redes Neurais Convolucionais requerem essencialmente somas ponderadas, apesar do enorme peso computacional associado a esses algoritmos. Devido à simplicidade dos cálculos realizados por estes algoritmos, propomos a aplicação de Computação Estocástica a Redes Neurais Convolucionais para implementar classificadores de tecnologia de ponta mais eficientes. Esta dissertação pretende contextualizar este problema e rever a literatura nas áreas correspondentes para fundamentar o trabalho realizado posteriormente. Foram realizadas breves revisões de possíveis metodologias de implementação para dar uma compreensão de como a Computação Estocástica pode ser usada na classificação de imagens em CNNs. Propomos a rede LeNet-5 Modificada baseada na rede LeNet-5 original, onde as modificações servem para dividir a rede em blocos facilmente substituíveis por blocos de Computação Estocástica. A rede LeNet-5 modificada alcançou um desempenho de treino de 97% no Tensorflow. Após o treino, implementámos a rede LeNet-5 Modificada em hardware reconfigurável personalizado para a classificação de imagens do conjunto de dados MNIST. No final do nosso trabalho, obtivemos uma implementação RTL modelo completa da CNN à qual pode ser adicionada a computação estocástica. O pipeline está totalmente implementado e funcional, no entanto carece de debug futuro.

Stochastic Computing is a computing method that performs probability-based operations, allowing simple circuits with low energy consumption and significant fault tolerance. Convolutional Neural Networks are a class of machine learning algorithms that essentially require weighted sums, despite the huge computational weight associated with these algorithms. Due to the simplicity of operations calculated by these algorithms, we propose applying Stochastic Computing to Convolutional Neural Networks to implement more efficient edge computing classifiers. This dissertation intends to contextualize this problem and review the literature in the corresponding areas to base the work carried out later. Brief reviews of possible implementation methodologies have been carried out, to give an understanding of how to use Stochastic Computing in CNN image classification. We propose the Modified LeNet-5 based on the original LeNet-5, where the modifications serve to divide the network into blocks that can be easily exchangeable with Stochastic Computing blocks. The modified LeNet-5 achieved a training performance of 97% on Tensorflow, maintaining a good accuracy on classification, with similar values as the original LeNet-5. After training, we implemented the Modified LeNet-5 on custom reconfigurable hardware for the classification of images from the MNIST dataset. At the end of our work, we have a CNN baseline full RTL implementation on which Stochastic Computing can be added. The pipeline is fully implemented and working but not fully debugged.