Classificação de imagens histológicas explorando deep-learned features de representações DeepDream e IA explicável

Abstract

A aplicação de métodos de aprendizado de máquina para a análise de imagens histológicas tem proporcionado avanços significativos em diagnósticos auxiliados por computador. Neste trabalho, um estudo foi realizado para classificar padrões existentes em amostras histológicas coradas com hematoxilina-eosina, representativas de câncer de mama, câncer colorretal, tecido hepático e displasia oral. O método proposto explorou redes neurais convolucionais (VGG19, ResNet50, Inception V3 e Efficientnet B2), gradient-weighted class activation mapping, explicações por modelo agnóstico de interpretação local e representações baseadas no efeito inceptionism (DeepDream). As deep featuresforam analisadas via múltiplos classificadores (rotation forest, multilayer perceptron, logistic, random forest, decorate, k-nearest neighbor, KStar e support vector machine) com o intuito de indicar as melhores associações. A melhor solução foi obtida por meio da rede ResNet50 com representações extraídas da VGG19, explorando vetores de características com 40 e 100 atributos. Os resultados apresentaram taxas de AUC variando de 0.994 (UCSB) a 1 (CR). As deep features mais exploradas foram obtidas por meio das imagens originais (maior ocorrência), seguidas pelas representações geradas por explicações de modelo agnóstico de interpretação local, DeepDream e gradient-weighted class activation mapping. Estes resultados podem apoiar o desenvolvimento de técnicas voltadas ao reconhecimento de padrões de imagens H&E, com maior robustez em diagnósticos auxiliados por computador.

The application of machine learning methods to analyze histological images has led to significant advances in computer-aided diagnosis. In this work, a study was carried out to classify patterns present in histological samples stained with hematoxylin-eosin, representative of breast cancer, colorectal cancer, liver tissue and oral dysplasia. The proposed method explored convolutional neural networks (VGG19, ResNet50, InceptionV3 and EfficientNet B2), gradient-weighted class activation mapping, local interpretable model-agnostic explanations and representations based on the inceptionism effect (DeepDream). The deep features were analyzed via multiple classifiers (rotation forest, multilayer perceptron, logistic, random forest, decorate, k-nearest neighbor, KStar and support vector machine) in order to indicate the main associations. The best solution was obtained through the ResNet50 with the representations from the VGG19, exploring feature vectors with 40 and 100 attributes. The results were AUC rates ranging from 0.994 (UCSB) to 1 (CR). The most explored deep features were obtained via original images (highest occurrence), followed by local interpretable model-agnostic explanations, DeepDream and gradient-weighted class activation mapping representations. These results can support the development of techniques addressed to pattern recognition of H&E images, with more robust computer-aided diagnoses.