Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas

Abstract

Modelos de linguagem têm sido amplamente adotados em várias aplicações de processamento de linguagem natural. Seu sucesso em tarefas como tradução automática, classificação e geração de texto impulsionou sua popularidade. No entanto, esses modelos são frequentemente considerados ``caixas-opacas'' devido à sua complexidade e dificuldade de interpretação. A falta de transparência e de entendimento interno desses modelos levanta questões sobre sua confiabilidade e limita sua adoção em cenários críticos, como a tomada de decisão em áreas sensíveis. Nesse contexto, o presente trabalho visa explorar técnicas de Inteligência Artificial Explicável para interpretar e entender o comportamento dos modelos de linguagem. Especificamente, foca nos métodos Model-Agnostic Explanations (LIME) e Integrated Gradients (IG). O estudo de caso envolve a análise da eficácia de modelos BERTimbau treinados no contexto da classificação de notícias em português brasileiro como reais ou falsas, utilizando os conjuntos de dados FakeRecogna e Fake.Br Corpus, e buscar compreender se esses métodos são eficazes para esse cenário.

Language models have been widely adopted in various natural language processing applications. Their success in tasks such as machine translation, classification, and text generation has driven their popularity. However, these models are often considered ``black-boxes'' due to their complexity and difficulty of interpretation. The lack of transparency and internal understanding of these models raises questions about their reliability and limits their adoption in critical scenarios, such as decision-making in sensitive areas. In this context, the present work aims to explore techniques of Explainable Artificial Intelligence to interpret and understand the behavior of language models. Specifically, it focuses on the methods Model-Agnostic Explanations (LIME) and Integrated Gradients (IG). The case study involves analyzing the effectiveness of BERTimbau models trained in the context of classifying Brazilian Portuguese news as real or fake, using the FakeRecogna and Fake.Br Corpus datasets, and seeks to understand if these methods are effective for this scenario.