Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers

Abstract

Redes Generativas Adversárias (GANs) criam imagens colocando um gerador (G) contra um discriminador (D), visando encontrar um equilíbrio entre eles. No entanto, alcançar esse equilíbrio é desafiador porque G é treinado com base em apenas um valor que representa a previsão de D, e apenas D pode acessar as características das imagens. Introduzimos uma nova abordagem para treinar GANs usando métodos baseados em Inteligência Artificial Explicável (XAI) para melhorar a qualidade e a diversidade das imagens geradas em conjuntos de imagens histopatológicas. Utilizamos os métodos baseados em XAI para extrair informações de características de D e incorporá-las em G por meio da função de perda, uma estratégia única ainda não explorada nesse contexto. Demonstramos que essa abordagem enriquece o treinamento com informações relevantes e promove uma melhor qualidade e maior variabilidade das imagens artificiais, diminuindo até 32,7% no Fréchet inception distance em comparação com métodos tradicionais. Na tarefa de aumento artificial de dados, essas imagens melhoram a precisão de classificação de modelos Transformer em até 3,81% em comparação com modelos sem aumento artificial de dados e até 3,01% em comparação com o aumento artificial de dados tradicional de GAN. Mostramos que o método de Saliency fornece a G as informações de características mais informativas. O modelo permitiu destacar o potencial de métodos inspirados em XAI para melhorar o treinamento de GANs com indicações relevantes para futuras explorações nesta área.

Generative Adversarial Networks (GANs) create images by pitting a generator (G) against a discriminator (D), aiming to find a balance between them. However, achieving this balance is difficult because G is trained based on just one value representing D's prediction, and only D can access image features. We introduce a novel approach for training GANs using methods based on Explainable Artificial Intelligence (XAI) to enhance the quality and diversity of generated images in histopathological datasets. We leverage XAI-based methods to extract feature information from D and incorporate it into G via the loss function, a unique strategy not previously explored in this context. We demonstrate that this approach enriches the training with relevant information and promotes improved quality and more variability of the artificial images, decreasing up to 32.7% in Fréchet inception distance compared to traditional methods. In the data augmentation task, these images improve the classification accuracy of Transformer models by up to 3.81% compared to models without data augmentation and up to 3.01% compared to traditional GAN data augmentation. Our finding shows that the Saliency method provides G with the most informative feature information. This model allowed highlighting the potential of XAI-inspired methods to improve the training of GANs with relevant indications for future explorations in this area.