Desenvolvimento de um sistema de reconhecimento de sinais do alfabeto manual de Libras utilizando MediaPipe Hands e rede LSTM
Carregando...
Data
Autores
Orientador
Sementille, Antonio Carlos 
Coorientador
Pós-graduação
Curso de graduação
Bauru - FC - Ciência da Computação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
A Língua Brasileira de Sinais (Libras) é uma língua visual que, assim como muitas outras linguagens de sinais, ainda não possui uma infraestrutura suficientemente desenvolvida. Isso é algo que se torna ainda mais agravante quando considerada a sua importância como meio de comunicação para a comunidade surda. Por muito tempo, a análise dos sinais de Libras tem sido uma tarefa difícil para os computadores, em parte devido às dependências espaciais-temporais envolvidas no reconhecimento de gestos que utilizam a movimentação das mãos. Porém, os avanços recentes nas tecnologias de Visão Computacional e Aprendizado de Máquina permitem cada vez mais a superação destes obstáculos. Portanto, o objetivo deste trabalho consiste na implementação de um pipeline completo para o reconhecimento dos sinais do alfabeto manual de Libras, incluindo a coleta de fontes para a elaboração do conjunto de dados, a extração dos pontos de referência das mãos, e o treinamento de uma Rede Long Short-Term Memory capaz de analisar os sinais individuais.
Resumo (inglês)
Brazilian Sign Language (Libras) is a visual language that, much like many other sign languages, still does not possess a sufficiently developed infrastructure to support it. This is further aggravated when considering its importance as a means of communication for the deaf community. For a long time, the analysis of signs in Libras has been a difficult task for computers, in part due to the spatial-temporal dependencies involved in the recognition of gestures that utilize hand movements. Recently, however, advances in Computer Vision and Machine Learning have increasingly allowed for the overcoming of these hurdles. Therefore, the goal of the work done here is to implement a complete pipeline for the recognition of signs from the Libras manual alphabet, including the gathering of sources for the development of the dataset, the extraction of landmarks from each hand, and the training of a Long Short-Term Memory network capable of analysing individual signs.
Descrição
Palavras-chave
Língua Brasileira de Sinais, Rede LSTM, Detecção de pontos de referência, Reconhecimento de linguagem de sinais, Brazilian Sign Language, LSTM network, Landmark detection, Sign language recognition
Idioma
Português
Citação
CALIMAN, Pedro Ferreira. Desenvolvimento de um sistema de reconhecimento de sinais do alfabeto manual de Libras utilizando MediaPipe Hands e rede LSTM. 2024. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2024.
