Avaliação de transferibilidade entre modelos de redes neurais pré-treinados em línguas estrangeiras de sinais e LIBRAS

Abstract

O reconhecimento automático de Língua Brasileira de Sinais (LIBRAS) por computador representa um desafio fundamental para a inclusão digital da comunidade surda no Brasil. Embora sistemas de reconhecimento de gestos tenham avançado significativamente, o desenvolvimento de modelos específicos para LIBRAS é limitado pela escassez de bases de dados robustas e pela complexidade inerente aos padrões espaciais e temporais dos sinais. Este trabalho investigou a viabilidade do aprendizado por transferência como estratégia para superar essas limitações, utilizando conhecimento adquirido em outras línguas de sinais para melhorar o reconhecimento em LIBRAS. Foram implementadas e comparadas três arquiteturas complementares: I3D, baseada em convoluções tridimensionais para análise de vídeos RGB; Bi-LSTM, para modelagem de dependências temporais em sequências de poses; e SL-GCN, que utiliza grafos espaço-temporais para capturar a dinâmica corporal. Cada modelo foi inicializado com pesos pré-treinados em bases de dados internacionais (WLASL, GSL, LSA64, AUTSL, DEVISIGN e INCLUDE) e ajustado para o reconhecimento em um conjunto unificado de classes em LIBRAS. Os resultados demonstraram que o aprendizado por transferência proporciona ganhos expressivos de desempenho, mesmo em cenários com dados limitados, comprovando a viabilidade da transferência de conhecimento entre línguas de sinais distintas. Este trabalho contribui para o desenvolvimento de métodos eficientes e generalizáveis para o reconhecimento automático de LIBRAS, reduzindo barreiras tecnológicas e promovendo acessibilidade e inclusão digital para a comunidade surda brasileira.

Automatic recognition of Brazilian Sign Language (LIBRAS) by computer represents a fundamental challenge for digital inclusion of the deaf community in Brazil. Although gesture recognition systems have advanced significantly, the development of models specific to LIBRAS is limited by the scarcity of robust databases and the inherent complexity of spatial and temporal patterns in sign language. This work investigated the feasibility of transfer learning as a strategy to overcome these limitations, leveraging knowledge acquired from other sign languages to improve recognition in LIBRAS. Three complementary architectures were implemented and compared: I3D, based on three-dimensional convolutions for RGB video analysis; Bi-LSTM, for modeling temporal dependencies in pose sequences; and SL-GCN, which utilizes spatio-temporal graphs to capture body dynamics. Each model was initialized with pre-trained weights from international databases (WLASL-2000, GSL, LSA64, AUTSL, DEVISIGN, and INCLUDE) and fine-tuned for recognition on a unified set of LIBRAS classes. The results demonstrated that transfer learning provides significant performance gains, even in scenarios with limited data, proving the viability of knowledge transfer between distinct sign languages. This work contributes to the development of efficient and generalizable methods for automatic LIBRAS recognition, reducing technological barriers and promoting accessibility and digital inclusion for the Brazilian deaf community.