X-net: uma arquitetura bioinspirada para modulação de representações multimodais através de sincronização e reconstrução cruzada

Abstract

Os recentes avanços nas pesquisas com modelos multimodais reacenderam o interesse na exploração de novas aplicações na área. Grandes modelos generativos multimodais obtiveram sucesso ao atrair a atenção não apenas de pesquisadores, mas também do público em geral. Inspirados na capacidade humana de lidar com múltiplas modalidades sensoriais, este projeto explorou a convergência entre representações sonoras e visuais, examinando o espaço latente que existe entre elas. Iniciamos nossa investigação com a criação e o treinamento de modelos dedicados à conversão de dados de áudio em imagens e vice-versa. A partir da análise estrutural e representacional desses modelos, aliada ao conhecimento biológico sobre o processamento multimodal no cérebro humano, propusemos uma arquitetura inovadora para o processamento audiovisual: a X-Net. Essa arquitetura é composta por módulos especializados em sincronização temporal e reconstrução cruzada, cuja saída modula dinamicamente os caminhos de processamento unimodal, enriquecendo a extração de características em ambas as modalidades. A X-Net foi avaliada em tarefas de classificação nos conjuntos de dados COIN e UCF101, obtendo melhorias de desempenho consistentes com o uso do módulo de controle multimodal: no COIN, a acurácia Top-1 subiu de 52,3% para 59,1%, e no UCF101, de 75,5% para 81,7%. Esses resultados validam a eficácia da abordagem proposta e reforçam o potencial de mecanismos inspirados biologicamente na construção de modelos multimodais mais interpretáveis e eficientes.

Recent advances in multimodal model research have reignited interest in exploring new applications in the field. Large generative multimodal models have successfully drawn the attention of both researchers and the general public. Inspired by the human ability to integrate multiple sensory modalities, this project explores the convergence between auditory and visual representations by examining the latent space that connects them. The investigation began with the development and training of models dedicated to converting audio into images and vice versa. Based on the structural and representational analysis of these models—and supported by biological knowledge of multimodal processing in the human brain—we proposed X-Net, a bio-inspired architecture for audiovisual multimodal processing. X-Net combines temporal synchronization and cross-modal reconstruction modules, whose outputs are used to modulate unimodal backbones dynamically, enriching the extraction of features in both modalities. The architecture was evaluated on classification tasks using the COIN and UCF101 datasets, achieving consistent performance improvements with the inclusion of the multimodal controller: Top-1 accuracy increased from 52.3% to 59.1% on COIN and from 75.5% to 81.7% on UCF101. These results validate the effectiveness of the proposed approach and highlight the potential of biologically inspired mechanisms in building more interpretable and efficient multimodal models.