Publicação: Um sistema de reconhecimento de sinais isolados de libras utilizando Mediapipe Holistic e LSTM
Carregando...
Arquivos
Data
Autores
Orientador
Sementille, Antonio Carlos 
Coorientador
Pós-graduação
Curso de graduação
Bauru - FC - Sistemas de Informação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
Uma forma importante de linguagem natural é a comunicação por meio de sinais. Para a comunidade surda, a língua de sinais é extremamente relevante, pois a capacidade de se expressar e compreender por meio de gestos oferece uma abordagem inclusiva que pode transcender barreiras. A Língua Brasileira de Sinais (LIBRAS) é uma língua visual-gestual utilizada pela comunidade surda do Brasil como um de seus meios de comunicação. Infelizmente a grande dependência de intérpretes é uma realidade para os usuários de LIBRAS ou outras formas de comunicação gestual. No entanto, o avanço em áreas como o Aprendizado de Máquina tem viabilizado métodos que possuem potencial para o reconhecimento de sinais e, portanto, poderiam integrar futuros sistemas de tradução automática de LIBRAS. Considerando este contexto, o presente trabalho utiliza os serviços da biblioteca MediaPipe Holistic para capturar os pontos de referências dos sinais de LIBRAS, a partir de vídeos, aplicando um modelo LSTM para realizar a classificação dos gestos. O sistema foi treinado utilizando uma base de dados composta por vídeos de sinais de LIBRAS, a base V-Librasil, tendo conseguido uma acurácia média de 82,77%, que pode ser considerada satisfatória diante da escassez de dados e da complexidade dos sinais.
Resumo (inglês)
An important form of natural language is communication through signs. For the deaf community, sign language is extremely relevant, as the ability to express and understand through gestures offers an inclusive approach that can transcend barriers. Brazilian Sign Language (LIBRAS) is a visual-gestural language used by the deaf community in Brazil as one of their means of communication. Unfortunately, the heavy reliance on interpreters remains a reality for LIBRAS users and others relying on gestural communication. However, advancements in areas such as Machine Learning have enabled methods with potential for sign recognition, which could be integrated into future automatic LIBRAS translation systems. Considering this context, the present work utilizes the MediaPipe Holistic library to capture the reference points of LIBRAS signs from videos, applying an LSTM model to classify the gestures. The system was trained using a dataset composed of LIBRAS sign videos, the V-Librasil dataset, achieving an average accuracy of 82,77%, which can be considered satisfactory given the scarcity of data and the complexity of the signs.
Descrição
Palavras-chave
Libras, LSTM, MediaPipe, Aprendizado Profundo, Isolated sign recognition, Deep learning
Idioma
Português
Como citar
PRESTES, Willyan Pizarro. Um sistema de reconhecimento de sinais isolados de libras utilizando Mediapipe Holistic e LSTM. 2024. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2024.
