Study of Metrics for Assessing Interpretability of Fuzzy Systems

Abstract

Machine Learning (ML) has attracted great interest in the modeling of systems using computational learning methods. The use of ML has been noted in the context of industry, medicine, finance, and agriculture, among many others, due to its ability and efficiency to process large amounts of data and to make predictions or decisions with a high degree of accuracy. As ML continues to revolutionize industries and enhance the quality of life, it has drawn increasing attention from the wider community. However, with the increase in the complexity of the models, the methods used in ML have presented complex structures that are not always transparent to the users, limiting the possibility of an immediate understanding of the system's decisions. Most ML models produce results that are difficult to understand and trust due to their "black-box" nature. In this sense, it is important to study how to counteract this trend and explore ways to increase the interpretability of these models, precisely where decision-making plays a central role. This dissertation addresses this challenge by assessing the interpretability and explainability of fuzzy logic models. Fuzzy Logic Systems can be perceived as "grey boxes" since they can transform non-linear representations of complex systems into linguistic terms with membership functions that replicate interpretable knowledge bases, mirroring human cognitive processes. Nevertheless, the concept of interpretability remains multifaceted and lacks a comprehensive definition. Within this research, we examined the structural and semantic factors that impact the interpretability of fuzzy systems. Various metrics have been developed to address this topic, as well as COFCI, Nauck Index, RGI, Membership Function Similarity Index, and Membership Function Center Index. These indices were assessed across different datasets on three separate fuzzy models: GAM-ZOTS, ANFIS, and FCM+LSM, each with distinct properties and structures. The study conducted in this thesis culminates in the proposition of a comprehensive interpretability metric that covers different domains associated with interpretability in fuzzy systems. The versatile implementation of the metric proposed demonstrates its applicability for quantitatively comparing these systems with diverse characteristics. One of the challenges in using machine learning models lies in balancing high accuracy with interpretability. As these two goals often conflict, improvements in one aspect can compromise the other, there is a need to evaluate the tradeoff and find a compromise between interpretability and accuracy. To effectively conclude this study, we analyzed the data obtained by the proposed metric and the accuracy yielded by the models and determined a balance between model accuracy and interpretability for each scenario tested.

A aprendizagem computacional, ou ML, é uma das áreas que tem despertado grande interesse na modelação de sistemas utilizando métodos de aprendizagem computacionais. A utilização de modelos de ML tem tido notoriedade no contexto da indústria, medicina, finanças e agricultura, entre muitos outros, devido à sua capacidade e eficiência para processar grandes quantidades de dados e fazer previsões ou tomar decisões com um elevado grau de precisão. Como os modelos de ML continuam a revolucionar a indústria e a melhorar a qualidade de vida, tem atraído cada vez mais a atenção da comunidade em geral. No entanto, com o aumento da complexidade dos modelos, os métodos utilizados em ML têm apresentado estruturas complexas que nem sempre são transparentes para os utilizadores, limitando a possibilidade de uma compreensão imediata das decisões do sistema. A maioria dos modelos de ML produz resultados difíceis de entender e confiar devido à sua natureza de "caixa preta". Neste sentido, é importante estudar como contrariar esta tendência e explorar formas de aumentar a interpretabilidade destes modelos, precisamente onde a tomada de decisões desempenha um papel predominante.Esta dissertação tem como objetivo abordar este desafio, avaliando a interpretabilidade e explicabilidade dos modelos de lógica difusa. Os Sistemas de Lógica Difusa podem ser entendidos como "caixa cinza", uma vez que possuem a capacidade de transformar representações não lineares de sistemas complexos em termos linguísticos com funções de pertença que simulam bases de conhecimento interpretáveis, assemelhando-se aos processos cognitivos humanos. No entanto, o conceito de interpretabilidade continua a ser multifacetado e carece de uma definição abrangente.No âmbito desta investigação, examinámos os vários factores, estruturais e semânticos, que têm impacto na interpretabilidade de um sistema difuso. Diversas métricas têm vindo a ser desenvolvidas para abordar este tema, assim como o COFCI, o Índice de Nauck, o RGI, o Índice de Similaridade de Funções de Pertença e o Índice do Centro de Funções de Pertença. Estes índices foram avaliados em diferentes conjuntos de dados em três modelos difusos distintos: GAM-ZOTS, ANFIS e FCM+LSM, cada um com propriedades e estruturas distintas. O estudo elaborado nesta tese culmina com a proposta de uma métrica de interpretabilidade abrangente que cobre diferentes domínios associados à interpretabilidade em sistemas difusos. A implementação versátil dessa métrica demonstra sua aplicabilidade para comparar quantitativamente estes sistemas com diversas características.Um dos desafios na utilização de modelos de ML consiste em equilibrar uma elevada precisão com a interpretabilidade. Uma vez que estes dois objectivos são frequentemente contraditórios, a melhora de um leva à deterioração do outro, é necessário avaliar o compromisso e encontrar um equilíbrio entre a interpretabilidade e a precisão.Para concluir efetivamente este estudo, analisámos os dados obtidos pela métrica proposta e a precisão dos modelos e determinámos um equilíbrio entre a precisão e a interpretabilidade dos modelos para cada cenário testado.