Um sistema de reconhecimento de sinais isolados de libras utilizando Mediapipe Holistic e LSTM

Abstract

Uma forma importante de linguagem natural é a comunicação por meio de sinais. Para a comunidade surda, a língua de sinais é extremamente relevante, pois a capacidade de se expressar e compreender por meio de gestos oferece uma abordagem inclusiva que pode transcender barreiras. A Língua Brasileira de Sinais (LIBRAS) é uma língua visual-gestual utilizada pela comunidade surda do Brasil como um de seus meios de comunicação. Infelizmente a grande dependência de intérpretes é uma realidade para os usuários de LIBRAS ou outras formas de comunicação gestual. No entanto, o avanço em áreas como o Aprendizado de Máquina tem viabilizado métodos que possuem potencial para o reconhecimento de sinais e, portanto, poderiam integrar futuros sistemas de tradução automática de LIBRAS. Considerando este contexto, o presente trabalho utiliza os serviços da biblioteca MediaPipe Holistic para capturar os pontos de referências dos sinais de LIBRAS, a partir de vídeos, aplicando um modelo LSTM para realizar a classificação dos gestos. O sistema foi treinado utilizando uma base de dados composta por vídeos de sinais de LIBRAS, a base V-Librasil, tendo conseguido uma acurácia média de 82,77%, que pode ser considerada satisfatória diante da escassez de dados e da complexidade dos sinais.

An important form of natural language is communication through signs. For the deaf community, sign language is extremely relevant, as the ability to express and understand through gestures offers an inclusive approach that can transcend barriers. Brazilian Sign Language (LIBRAS) is a visual-gestural language used by the deaf community in Brazil as one of their means of communication. Unfortunately, the heavy reliance on interpreters remains a reality for LIBRAS users and others relying on gestural communication. However, advancements in areas such as Machine Learning have enabled methods with potential for sign recognition, which could be integrated into future automatic LIBRAS translation systems. Considering this context, the present work utilizes the MediaPipe Holistic library to capture the reference points of LIBRAS signs from videos, applying an LSTM model to classify the gestures. The system was trained using a dataset composed of LIBRAS sign videos, the V-Librasil dataset, achieving an average accuracy of 82,77%, which can be considered satisfactory given the scarcity of data and the complexity of the signs.