Authentication of Holograms on Video Frames Using Convolutional Neural Networks

Abstract

In today's digital age, holograms have gained widespread recognition as a reliable indicator of authenticity on items such as credit cards, passports, and currency notes. They are also employed in consumer products like premium wines and branded merchandise to add a unique and recognizable feature. However, the proliferation of counterfeit holograms has become a growing cause for concern. As counterfeiters become increasingly sophisticated, traditional methods of hologram verification, such as visual inspection by humans, are no longer sufficient, especially when dealing with a large volume of in-product holograms. Therefore, there is a pressing need for automated tools for hologram authentication that can quickly and accurately differentiate between genuine and fake holograms.This thesis investigates the potential of convolutional neural networks (CNNs) for distinguishing between authentic and fake holograms. A deep learning framework is proposed, optimized for resource-limited devices like smartphones and utilizing a single frame input captured under ambient light. Transfer learning is employed to build upon pre-trained CNN models, reducing computational complexity. The primary objectives include developing a CNN-based classifier, designing and annotating a database of video footage, evaluating the classification system's performance on a single frame without additional illumination, and assessing performance using accuracy, precision, recall, and F1-score metrics. Ultimately, this research aims to enhance the security and authenticity of holographic products by accurately distinguishing between authentic and fake holograms in video footage.

Na era digital de hoje, os hologramas ganharam reconhecimento como um indicador confiável de autenticidade em itens como cartões de crédito, passaportes e notas de dinheiro. Eles também são utilizados em produtos de consumo, como vinhos e produtos de marca, para adicionar uma característica única e reconhecível. No entanto, a proliferação de hologramas falsificados tornou-se uma crescente causa de preocupação. À medida que os falsificadores se tornam cada vez mais sofisticados, métodos tradicionais de verificação de hologramas, como a inspeção visual por humanos, não são suficientes, especialmente ao lidar com um grande numero de hologramas incorporados em produtos. Portanto, existe uma necessidade urgente de ferramentas automatizadas para autenticação de hologramas que possam diferenciar rapidamente e com precisão entre hologramas genuínos e falsificados.Esta tese investiga o potencial das redes neuronais convolucionais (RNCs) para distinguir entre hologramas autênticos e falsos. Um "framework" de "deep learning" é proposto, otimizado para dispositivos com recursos limitados, como "smartphones", e utilizando uma única imagem captada sob luz ambiente como entrada. "Transfer learning" é utilizado para aproveitar modelos de CNN pré-treinados, reduzindo a complexidade computacional. Os principais objetivos incluem o desenvolvimento de um classificador baseado em RNCs, a criação e anotação de uma base de dados de imagens de vídeo, a avaliação do desempenho do sistema de classificação em uma única imagem sem iluminação adicional e a avaliação do desempenho usando métricas de "accuracy", precisão, "recall" e "f1-score". No final, esta pesquisa tem como objetivo aprimorar a segurança e a autenticidade de produtos holográficos, distinguindo com precisão entre hologramas autênticos e falsos em imagens de vídeo.