Explorando Vision Transformers como extratores de características de textura

Abstract

Este trabalho aborda o uso de Vision Transformers (ViTs) para a análise de texturas em imagens, com ênfase em aplicações médicas, onde o reconhecimento de padrões das imagens é uma etapa decisiva na detecção precoce de patologias, o que aumenta a qualidade dos tratamentos. O objetivo principal é estudar e implementar Vision Transformers pré-treinados e aleatórios como extratores de características em imagens texturizadas para verificar a importância da arquitetura Transformer no reconhecimento de padrões. Além disso, foram utilizadas técnicas de fusão de características ao combinar de diversas formas as características extraídas pelos modelos utilizados, com o intuito de gerar representações mais robustas e aprimorar a análise e classificação de texturas. Os métodos foram aplicados na tarefa de classificação de pólipos colorretais, obtendo uma acurácia de 80.35%, demonstrando um desempenho melhorado em relação aos métodos tradicionais, comprovando a maior eficiência e robustez dos métodos propostos. A partir disso, o uso de ViTs como extratores de características em conjunto com as técnicas de fusão de características fornece um novo método aprimorado para a caracterização de texturas e diagnóstico em imagens médicas.

This work addresses the use of Vision Transformers (ViTs) for texture analysis in images, with an emphasis on medical applications, where image pattern recognition is a decisive step in the early detection of pathologies, which increases the quality of treatments. The main objective is to study and implement pre-trained and random Vision Transformers as feature extractors in textured images to verify the importance of the Transformer architecture in pattern recognition. In addition, feature fusion techniques were used by combining the features extracted by the models in various ways, with the aim of generating more robust representations and improving texture analysis and classification. The methods were applied to the task of classifying colorectal polyps, achieving an accuracy of 80.35%, demonstrating improved performance over traditional methods and proving the greater efficiency and robustness of the proposed methods. Based on this, the use of ViTs as feature extractors in conjunction with feature fusion techniques provides a new and improved method for texture characterization and diagnosis in medical images.