eXAI: uma técnica inovadora de ensemble com inteligência artificial explicável aplicada à visão computacional em contextos críticos

Abstract

The growing complexity of Deep Learning models, particularly Convolutional Neural Networks (CNNs), presents a fundamental challenge in critical applications: the opacity of their decisionmaking processes. This thesis addresses this interpretability gap by proposing and validating a methodological framework termed eXAI (Ensemble Explainable Artificial Intelligence), designed to create image analysis systems that merge high predictive performance with transparency. Conceptually inspired by Ensemble Learning, the framework’s novelty lies not in combining predictive models, but in synergistically integrating an ensemble of explainability methods specifically combining SHAP for pixel-level attribution with Grad-CAM for region-level localization to provide a multi-faceted interpretation of a single model’s decisions. The framework’s flexibility and efficacy are demonstrated through two case studies in distinct domains. The first, focused on Diabetic Retinopathy diagnosis, implements a stacking architecture that integrates deep visual features from a CNN with structured clinical data, classified by a LightGBM (LGBM) meta-model. This multimodal approach achieved outstanding accuracy, while the XAI analysis validated the clinical relevance of its decision factors. The second case study, in digital forensics, applies a direct classification CNN to detect Seam Carving image manipulations. Here, XAI was crucial in revealing that the model learned to identify subtle structural distortion artifacts rather than relying on semantic content. The collective results demonstrate that the eXAI framework is a robust and adaptable approach for building trustworthy AI models for critical contexts. By delivering comprehensive and understandable explanations, this methodology enhances the confidence in, and practical utility of, artificial intelligence in both healthcare and information security.

A crescente complexidade dos modelos de Aprendizado Profundo (deep learning), especialmente as Redes Neurais Convolucionais (CNNs), gerou um desafio fundamental em aplicações críticas: a falta de transparência e interpretabilidade de suas decisões. Esta tese aborda este problema ao propor um framework metodológico, o eXAI (Ensemble Explainable Artificial Intelligence), que visa desenvolver sistemas de análise de imagem que aliam alta performance preditiva à interpretabilidade. A metodologia proposta integra de forma sinérgica o deep learning com técnicas de Aprendizado de Conjunto (Ensemble Learning) e um ensemble de métodos de Inteligência Artificial Explicável (XAI), combinando o SHAP para atribuição em nível de pixel com o Grad-CAM para localização de regiões de interesse. A flexibilidade e a eficácia do framework eXAI são validadas através de dois estudos de caso em domínios distintos. O primeiro estudo de caso, focado no diagnóstico de Retinopatia Diabética, implementa uma arquitetura de stacking que combina as predições de uma CNN com dados clínicos estruturados, sendo o resultado final classificado por um meta-modelo LightGBM (LGBM). Esta abordagem multimodal demonstrou altíssima acurácia, e a análise XAI validou a relevância clínica dos fatores de decisão do modelo. O segundo estudo de caso, no domínio da forense digital, aplica uma CNN de classificação direta para detectar manipulações de imagem pela técnica de Seam Carving. Neste cenário, o XAI foi crucial para revelar que o modelo aprendeu a identificar artefatos de distorção estrutural, em vez de se basear no conteúdo semântico da imagem. Os resultados conjuntos demonstram que o framework eXAI é uma abordagem robusta e adaptável, capaz de gerar modelos de IA confiáveis para contextos críticos. Ao fornecer explicações compreensíveis e de múltiplas perspectivas, a metodologia contribui para aumentar a confiança e a utilidade prática da inteligência artificial tanto na área da saúde quanto na segurança da informação.