Dealing with Overfitting in the Context of Liveness Detection using FeatherNets with RGB images

Abstract

Facial Anti-Spoofing (FAS) ou prova de vida, tem ganho um grande interesse com a utilização crescente do reconhecimento facial nas actividades do dia-a-dia e a sua exigência de segurança. A partir da variedade de diferentes abordagens que foram desenvolvidas, a utilização das soluções de machine learning tornaram-se a abordagem mais popular devido à melhoria destes tipos de soluções para outros problemas, bem como o aumento do número de conjuntos de dados disponíveis para a prova de vida. Estes modelos, no entanto, apresentam deficiências como o overfitting, onde o modelo se adapta perfeitamente ao conjunto de treino, tornando-se inutilizável quando utilizado com o conjunto de testes, derrotando o propósito do machine learning. Esta tese centra-se em como abordar o overfitting sem alterar o modelo utilizado, concentrando-se na informação à entrada e saída do modelo.A abordagem de entrada centra-se na informação obtida a partir das diferentes modalidades presentes nos conjuntos de dados utilizados, bem como no quão variada é a informação destes conjuntos de dados, e não apenas em número de tipos de spoofs mas como as condições ambientais quando os vídeos foram capturados. As abordagens de saída foram centradas tanto na função de perda, que tem um efeito na "aprendizagem" real do machine learning, utilizada no modelo que é calculada a partir da saída do modelo e depois propagada para trás, como na interpretação da referida saída para definir quais as previsões que são consideradas como bonafide ou spoofs. Ao longo deste trabalho, os autores conseguiram reduzir o efeito de overfitting com uma diferença entre o melhor epoch e a média dos últimas cinquenta epochs de 36,57% para 3,63%.

Facial Anti Spoofing (FAS) or liveness detection, has gained a large interest with the increasing use of facial recognition in day-to-day activities and its requirement for security. From the variety of different approaches that have been developed, the use of machine learning solutions has become the more popular approach due to the improvement of these types of solutions for other problems as well as the increased number of available datasets for liveness detection. These models however carry shortcomings like overfitting, where the model adapts perfectly to the training set, becoming unusable when used with the testing set, defeating the purpose of machine learning. This thesis focuses on how to approach overfitting without altering the model used by focusing on the input and output information of the model.The input approach focuses on the information obtained from the different modalities present in the datasets used, as well as how varied the information of these datasets is, not only in number of spoof types but as the ambient conditions when the videos were captured. The output approaches were focused on both the loss function, which has an effect on the actual ”learning” of the machine learning, used on the model which is calculated from the model’s output and is then propagated backwards, and the interpretation of said output to define what predictions are considered as bonafide or spoof. Throughout this work, the authors were able to reduce the overfitting effect with a difference between the best epoch and the average of the last fifty epochs from 36.57% to 3.63%.