Combinação de características para recuperação e classificação de imagens médicas

Abstract

A evolução das tecnologias de aquisição e armazenamento de imagens tem sido fundamental em diversas áreas médicas, auxiliando na obtenção de diagnósticos mais precisos e, consequentemente, recomendarem tratamentos mais eficazes para seus pacientes. Recentemente, as técnicas de aprendizagem profunda têm desempenhado um papel fundamental na análise mais precisa de imagens médicas, principalmente devido à capacidade de representar efetivamente o conteúdo visual da imagem. No entanto, apesar dos enormes avanços, as técnicas de aprendizado profundo geralmente requerem grandes quantidades de dados para treinamento, que não estão disponíveis em muitos cenários, especialmente no domínio médico, além de não deixar transparente como o modelo chegou ao resultado. Por outro lado, várias técnicas de aprendizado de variedades foram aplicadas com sucesso em cenários não supervisionados e semi-supervisionados para codificação mais eficaz de relações de similaridade entre dados multimídia na ausência ou restrição de dados rotulados. Neste trabalho, propomos explorar conjuntamente o poder de representação de estratégias de aprendizado profundo com a capacidade de aprendizado não supervisionado de variedades na entrega de medidas de similaridade mais eficazes. Redes neurais convolucionais (CNNs) e modelos baseados em Transformers treinados por transfer learning são combinados por vários métodos de aprendizado não supervisionados, que definem uma similaridade mais efetiva entre as imagens. A saída pode ser usada para recuperação não supervisionada e classificação semi-supervisionada com base em uma estratégia kNN. Uma avaliação experimental foi realizada em diferentes conjuntos de dados de imagens de tumores cerebrais de ressonância magnética, considerando diferentes características. Resultados efetivos foram obtidos em tarefas de recuperação e classificação, com ganhos significativos obtidos por várias abordagens de aprendizado. Em cenários com dados de treinamento limitados, nossa abordagem alcança resultados competitivos ou superiores às abordagens de aprendizado profundo do estado-da-arte.

The evolution of image acquisition and storage technologies has been fundamental in numerous medical fields, supporting doctors to deliver more precise diagnoses and, consequently, recommend more effective treatments for their patients. Recently, deep learning techniques have played a key role in more accurate medical image analysis, mainly due to the capacity to effectively represent the image visual content. However, in spite of tremendous advances, deep-learning techniques commonly require huge quantities of data for training, that are not available in many scenarios, especially in the medical domain. Conversely, manifold learning techniques have been successfully applied in unsupervised and semi-supervised scenarios for more effective encoding of similarity relationships between multimedia data in the absence or restriction of labeled data. In this work, we propose to exploit jointly the representation power of deep-learning strategies with the ability of unsupervised manifold learning in delivering more effective similarity measurement. Convolutional Neural Networks (CNNs) and Transformer-based models trained through transfer learning are combined by unsupervised manifold learning methods, which define a more effective similarity among images. The output can be used for unsupervised retrieval and semi-supervised classification based on a kNN strategy. An experimental evaluation was conducted on different datasets of MRI brain tumor images, considering different features. Effective results were obtained on both retrieval and classification tasks, with significant gains obtained by manifold learning approaches. In scenarios with limited training data, our approach achieves results that are competitive or superior to state-of-the-art deep learning approaches.