Deep Face Recognition for Online Student Identification

Abstract

The COVID-19 pandemic forced educational systems to quickly switch to remote lecturing, raising a debate about the credibility of evaluations, as they became more susceptible to fraud. This motivated the implementation of student monitoring systems, such as TrustID, an image-based deep learning solution with standard face recognition stages (face detection, alignment and representation). Yet, deep learning methods' performance is extremely data dependent and, due to the context where the model is applied, depending on the device used by the student, there are challenges regarding the quality of the acquired data and the device's available processing power. If the student uses a webcam or a smartphone's front facing camera, the resulting images will be highly different in terms of resolution, color, pose, etc. To this extent, the face representation stage is where there is more room for improvement, and an approach capable of handling the previous challenges with better accuracy/computational cost trade-off is explored. This work studies four pre-trained Deep Convolutional Neural Networks methods: iResnet-SE-50, iResnet-18, FaceNet and MobileFaceNet. After being subjected to different benchmarks that mimic real world scenarios, the results and accuracy/resource utilization metrics are analyzed, where MobileFaceNet proves to have the overall superior accuracy/resource trade-off. Then, in an attempt to further improve the model, it is fine-tuned with ArcFace using different layer freezing strategies, and for that, two datasets are selected: DigiFace-1M and QMUL-SurvFace. DigiFace-1M aims to understand how the model reacts to fully synthetic data and to increase the model's performance in pose benchmarks, whereas QMUL-SurvFace, is selected to enhance the model's competence on low quality images.

A pandemia de COVID-19 forçou os sistemas educacionais a fazerem uma rápida transição para aulas remotas, gerando um debate sobre a credibilidade das avaliações, visto que estas se tornaram mais suscetíveis a fraudes. Isto motivou a implementação de sistemas de monitorização de estudantes, tal como o TrustID, que é uma solução, baseada em images, de deep learning, constituída pelas etapas padrão de um sistema de reconhecimento facial (detecção do rosto, alinhamento e representação). No entanto, o desempenho dos métodos de deep learning é extremamente dependente da informação ao seu dispor e, devido ao contexto em que o modelo é aplicado, dependendo do dispositivo utilizado pelo estudante, surgem desafios relacionados à qualidade dos dados adquiridos e à capacidade de processamento disponível do dispositivo. Se o aluno utilizar uma webcam ou a câmara frontal de um telemóvel, as imagens resultantes serão muito diferentes em termos de resolução, cor, pose, etc. Nesse sentido, a etapa de representação facial é onde há mais espaço para melhorias, e uma abordagem capaz de lidar com os desafios anteriores com melhor equilíbrio entre exatidão e custo computacional é explorada. Este trabalho estuda quatro métodos de Redes Neurais de Convolução Profundas (DCNN) pré-treinadas: iResnet-SE-50, iResnet-18, FaceNet e MobileFaceNet. Após serem submetidos a diferentes testes de avaliação que simulam cenários do mundo real, os resultados e as métricas de exatidão/utilização de recursos são analisados, onde o MobileFaceNet demonstra ter, globalmente, a melhor relação entre exatidão e recursos computacionais. Em seguida, na tentativa de melhorar ainda mais o modelo, este é afinado com o ArcFace usando diferentes estratégias de congelamento de camadas e, para isso, dois conjuntos de imagens foram selecionados: DigiFace-1M e QMUL-SurvFace. O DigiFace-1M visa compreender como o modelo reage a dados totalmente sintéticos e melhorar o desempenho do modelo em benchmarks de pose, enquanto que o QMUL-SurvFace é selecionado para aprimorar a competência do modelo em imagens de baixa qualidade.