Double-check of information using computational intelligence methodologies

Abstract

In today's industrial environments, quality control is essential for ensuring product reliability and operational effectiveness. Despite the widespread of automatic data collection and the use of data-driven models in quality processes, certain key variables still require manual entry due to laboratory analysis requirements, introducing errors stemming from human involvement. While research has addressed data entry errors in other domains, industrial contexts present distinct challenges that require data-driven solutions, in contrast with the manual methods presented in the literature.This dissertation focuses on the development and application of two methodologies, one leveraging Soft Sensors and another based on Principal Component Analysis, to detect data entry errors in quality control variables. The developed work resulted in a framework for designing Soft Sensors, that stands out for the implementation of feature expansion to introduce non-linearity in the field variables and for the implementation and comparison of several variable selection methods and regression models.Furthermore, the two methodologies to detect data entry errors were developed and tested in three different datasets with laboratory data from industrial facilities. Through a comprehensive characterization of entry data errors across various categories, such as blank spaces, doubles, measurement errors, order errors and extra number errors, this study provides valuable insights into the capabilities and limitations of the developed methodologies. The performance of the SS-based and the PCA-based methodologies was compared using classification metrics, such as precision, sensitivity, f1-score and specificity.The performed tests revealed that the PCA-based methodology may not be adequate for all datasets as it performs poorly for cases with low variability within the target variable. On the other hand, the methodology leveraging Soft Sensors presented good overall results with exceptional performance for blank spaces and order errors. A common difficulty in detecting doubles was detected in both methodologies. This dissertation culminated in the recommendation of the SS-based approach for the implementation in real industrial scenarios, given its best overall performance and easy interpretability by the operator (relevant factor to guarantee the operator cooperation in real setups).

Nos contextos industriais atuais, o controlo de qualidade é essencial para garantir a confiabilidade do produto e a eficácia operacional. Apesar da disseminação da recolha automática de dados e do uso de modelos de inteligência computacional nos processos de qualidade, certas variáveis-chave ainda requerem entrada manual devido a requisitos de análise laboratorial, o que introduz erros decorrentes do envolvimento humano. Enquanto os erros de inserção de dados já foram estudados noutras áreas, os contextos industriais apresentam desafios distintos que requerem soluções baseadas em dados, em contraste com os métodos manuais apresentados na literatura.Esta dissertação foca-se no desenvolvimento e aplicação de duas metodologias, uma aproveitando Sensores Virtuais e outra baseada na Análise de Componentes Principais, para detetar erros de inserção de dados em variáveis de controlo de qualidade. O trabalho desenvolvido resultou num \textit{framework} para o design de Sensores Virtuais, que se destaca pela implementação de expansão de variáveis para introduzir não-linearidade nas variáveis de campo e pela implementação e comparação de vários métodos de seleção de variáveis e modelos de regressão.Além disso, as duas metodologias usadas para detetar erros de inserção de dados foram desenvolvidas e testadas em três \textit{datasets} diferentes com dados de laboratório de instalações industriais. Através de uma caracterização abrangente de erros de inserção de dados em várias categorias, como espaços em branco, duplos, erros de medição, erros de ordem e números extra, este estudo fornece perceções valiosas sobre as capacidades e limitações das metodologias desenvolvidas. O desempenho das metodologias foi comparado usando métricas de classificação, como precisão, sensibilidade, \textit{f1-score} e especificidade.Os testes realizados revelaram que a metodologia baseada na Análise de Componentes Principais pode não ser adequada para todos os \textit{datasets}, pois apresenta baixo desempenho para casos com baixa variabilidade na variável alvo. Por outro lado, a metodologia que recorre a Sensores Virtuais apresentou bons resultados gerais com desempenho excepcional para espaços em branco e erros de ordem. Uma dificuldade comum na deteção de duplos foi detetada em ambas as metodologias. Esta dissertação culminou na recomendação da abordagem baseada em Sensores Virtuais para a implementação em cenários industriais reais, dada sua melhor performance geral e fácil interpretabilidade pelo operador (fator relevante para garantir a cooperação do operador em cenários reais).