Construção e tradução de datasets multimodais na saúde: um estudo para casos de Covid-19
Carregando...
Data
Autores
Orientador
Papa, João Paulo 
Coorientador
Garcia, Gabriel Lino
Pós-graduação
Curso de graduação
Bauru - FC - Ciência da Computação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
A Covid-19 é uma doença de fácil transmissão e capaz de deixar sequelas em seus infectados. Com o devido tratamento e diagnóstico precoce, as chances de sequelas e sintomas graves caem. Algumas estratégias são utilizadas para a celeridade da detecção, dentre elas, modelos de Aprendizado de Máquina treinados para avaliar unicamente imagem de raio-X, por exemplo, e realizar o diagnóstico baseado na imagem. Já os Grandes Modelos de Linguagem Multimodais são capazes de compreender dados de modalidades diferentes conjuntamente, como imagem e texto. Neste trabalho, propõe-se avaliar o uso de multimodalidade para diagnóstico de covid-19 e a averiguação do impacto que a multimodalidade causa no resultado obtido. Para isso, foi traduzido um dataset multimodal de covid-19 e avaliado o desempenho de dois modelos usando
este dataset em uma análise multimodal e unimodais.
Resumo (inglês)
Covid-19 is an easily transmitted disease capable of leaving sequelae in those infected. With proper treatment and early diagnosis, the chances of sequelae and severe symptoms decrease. Some strategies are used to accelerate detection, among them, Machine Learning models trained to evaluate solely X-ray images, for example, and perform the diagnosis based on the image. Multimodal Large Language Models, on the other hand, are capable of understanding data from different modalities jointly, such as image and text. This work proposes the use of multimodality for covid-19 diagnosis and an investigation into the impact of multimodality on the obtained results. For this purpose, a multimodal covid-19 dataset was translated and the performance of two models using this dataset with multimodal and unimodals perspective was evaluated.
Descrição
Palavras-chave
Multimodal, Covid-19, VLM, Aprendizado de máquina, Radiografia, Machine learning, Radiography
Idioma
Português
Citação
KANASHIRO, Daniel Hideki Rocha. Construção e tradução de datasets multimodais na saúde: um estudo para casos de covid-19. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025.
