Construção e tradução de datasets multimodais na saúde: um estudo para casos de Covid-19

Abstract

A Covid-19 é uma doença de fácil transmissão e capaz de deixar sequelas em seus infectados. Com o devido tratamento e diagnóstico precoce, as chances de sequelas e sintomas graves caem. Algumas estratégias são utilizadas para a celeridade da detecção, dentre elas, modelos de Aprendizado de Máquina treinados para avaliar unicamente imagem de raio-X, por exemplo, e realizar o diagnóstico baseado na imagem. Já os Grandes Modelos de Linguagem Multimodais são capazes de compreender dados de modalidades diferentes conjuntamente, como imagem e texto. Neste trabalho, propõe-se avaliar o uso de multimodalidade para diagnóstico de covid-19 e a averiguação do impacto que a multimodalidade causa no resultado obtido. Para isso, foi traduzido um dataset multimodal de covid-19 e avaliado o desempenho de dois modelos usando este dataset em uma análise multimodal e unimodais.

Covid-19 is an easily transmitted disease capable of leaving sequelae in those infected. With proper treatment and early diagnosis, the chances of sequelae and severe symptoms decrease. Some strategies are used to accelerate detection, among them, Machine Learning models trained to evaluate solely X-ray images, for example, and perform the diagnosis based on the image. Multimodal Large Language Models, on the other hand, are capable of understanding data from different modalities jointly, such as image and text. This work proposes the use of multimodality for covid-19 diagnosis and an investigation into the impact of multimodality on the obtained results. For this purpose, a multimodal covid-19 dataset was translated and the performance of two models using this dataset with multimodal and unimodals perspective was evaluated.