Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers
Carregando...
Data
Autores
Orientador
Neves, Leandro Alves 
Coorientador
Pós-graduação
Curso de graduação
São José do Rio Preto - IBILCE - Ciência da Computação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
Este trabalho propôs uma abordagem para aprimorar a geração e o aumento artificial de dados em imagens histopatológicas utilizando Generative Adversarial Networks (GANs) integradas a técnicas de Explainable AI (XAI). Foram utilizadas arquiteturas de GANs como DCGAN, RaGAN e WGAN-GP, combinadas com métodos de explicabilidade, como Saliency, DeepLIFT e InputXGradient, com o objetivo de incorporar informações interpretáveis no processo de geração de imagens sintéticas. A proposta foi avaliada em dois conjuntos de dados histológicos: um com amostras de câncer colorretal (CR) e outro com imagens de câncer de mama (UCSB). A qualidade das imagens geradas foi avaliada por meio das métricas FID (Frechet Inception Distance) e IS (Inception Score), enquanto o desempenho dos classificadores foi medido pela acurácia de modelos Transformers, incluindo ViT, DeiT e PVT. Os resultados demonstraram que o uso de XAI no treinamento das GANs pode reduzir o FID em até 26% e melhorar a acurácia dos classificadores em até 3,83% em comparação com modelos sem aumento de dados, e até 3,44% em relação ao uso de GANs sem XAI. A combinação DCGAN + Saliency + PVT obteve a maior acurácia (92,24%), seguida de WGAN-GP + InputXGrad + PVT (92,13%). Esses achados destacam o potencial do uso conjunto de XAI e GANs na geração de dados sintéticos mais eficazes, contribuindo para avanços na classificação de imagens médicas em cenários com limitação de dados.
Resumo (inglês)
This work proposes an approach to enhance data augmentation and synthetic image generation in histopathological datasets by integrating Generative Adversarial Networks (GANs) with Explainable AI (XAI) techniques. The methodology employs GAN architectures such as DCGAN, RaGAN, and WGAN-GP, combined with interpretability methods such as Saliency, DeepLIFT, and InputXGradient, aiming to embed explanation-driven features into the generator training process. The evaluation was conducted on two medical image datasets: one containing colorectal cancer (CR) samples and another with breast cancer specimens (UCSB). The quality of the generated images was assessed using the FID (Frechet Inception Distance) and IS (Inception Score) metrics, while the classification performance was measured using accuracy scores from Transformer-based models (ViT, DeiT, and PVT), with and without data augmentation. Results showed that integrating XAI into GAN training reduced FID by up to 26% and improved classification accuracy by up to 3.83% compared to models trained without data augmentation, and up to 3.44% over augmentation without XAI. The best performance was achieved by the combination of DCGAN + Saliency + PVT (92.24%), followed by WGAN-GP + InputXGrad + PVT (92.13%). These findings highlight the potential of combining XAI and GANs to generate more effective and interpretable synthetic data, offering relevant contributions to medical image classification in data-limited scenarios.
Descrição
Palavras-chave
Redes neurais (Computação), Inteligência artificial Aplicações médicas, Processamento de imagens, Histopatologia, Artificial neural networks, Artificial intelligence Medical applications, Image processing, Histopathology
Idioma
Português
Citação
BORGUE, Vinicius Augusto Toreli. Associação de redes adversárias generativas e inteligência artificial explicável para análise de imagens H&E via vision transformers. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Instituto de Biociências, Letras e Ciências Exatas (IBILCE), Universidade Estadual Paulista (UNESP), São José do Rio Preto, 2025.
