Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers

Abstract

Este trabalho propôs uma abordagem para aprimorar a geração e o aumento artificial de dados em imagens histopatológicas utilizando Generative Adversarial Networks (GANs) integradas a técnicas de Explainable AI (XAI). Foram utilizadas arquiteturas de GANs como DCGAN, RaGAN e WGAN-GP, combinadas com métodos de explicabilidade, como Saliency, DeepLIFT e InputXGradient, com o objetivo de incorporar informações interpretáveis no processo de geração de imagens sintéticas. A proposta foi avaliada em dois conjuntos de dados histológicos: um com amostras de câncer colorretal (CR) e outro com imagens de câncer de mama (UCSB). A qualidade das imagens geradas foi avaliada por meio das métricas FID (Frechet Inception Distance) e IS (Inception Score), enquanto o desempenho dos classificadores foi medido pela acurácia de modelos Transformers, incluindo ViT, DeiT e PVT. Os resultados demonstraram que o uso de XAI no treinamento das GANs pode reduzir o FID em até 26% e melhorar a acurácia dos classificadores em até 3,83% em comparação com modelos sem aumento de dados, e até 3,44% em relação ao uso de GANs sem XAI. A combinação DCGAN + Saliency + PVT obteve a maior acurácia (92,24%), seguida de WGAN-GP + InputXGrad + PVT (92,13%). Esses achados destacam o potencial do uso conjunto de XAI e GANs na geração de dados sintéticos mais eficazes, contribuindo para avanços na classificação de imagens médicas em cenários com limitação de dados.

This work proposes an approach to enhance data augmentation and synthetic image generation in histopathological datasets by integrating Generative Adversarial Networks (GANs) with Explainable AI (XAI) techniques. The methodology employs GAN architectures such as DCGAN, RaGAN, and WGAN-GP, combined with interpretability methods such as Saliency, DeepLIFT, and InputXGradient, aiming to embed explanation-driven features into the generator training process. The evaluation was conducted on two medical image datasets: one containing colorectal cancer (CR) samples and another with breast cancer specimens (UCSB). The quality of the generated images was assessed using the FID (Frechet Inception Distance) and IS (Inception Score) metrics, while the classification performance was measured using accuracy scores from Transformer-based models (ViT, DeiT, and PVT), with and without data augmentation. Results showed that integrating XAI into GAN training reduced FID by up to 26% and improved classification accuracy by up to 3.83% compared to models trained without data augmentation, and up to 3.44% over augmentation without XAI. The best performance was achieved by the combination of DCGAN + Saliency + PVT (92.24%), followed by WGAN-GP + InputXGrad + PVT (92.13%). These findings highlight the potential of combining XAI and GANs to generate more effective and interpretable synthetic data, offering relevant contributions to medical image classification in data-limited scenarios.