Repository logo
 

Publication:
Desenvolvimento de um sistema de reconhecimento de sinais do alfabeto manual de Libras utilizando MediaPipe Hands e rede LSTM

Loading...
Thumbnail Image

Advisor

Sementille, Antonio Carlos

Coadvisor

Graduate program

Undergraduate course

Bauru - FC - Ciência da Computação

Journal Title

Journal ISSN

Volume Title

Publisher

Universidade Estadual Paulista (Unesp)

Type

Undergraduate thesis

Access right

Acesso abertoAcesso Aberto

Abstract

Abstract (portuguese)

A Língua Brasileira de Sinais (Libras) é uma língua visual que, assim como muitas outras linguagens de sinais, ainda não possui uma infraestrutura suficientemente desenvolvida. Isso é algo que se torna ainda mais agravante quando considerada a sua importância como meio de comunicação para a comunidade surda. Por muito tempo, a análise dos sinais de Libras tem sido uma tarefa difícil para os computadores, em parte devido às dependências espaciais-temporais envolvidas no reconhecimento de gestos que utilizam a movimentação das mãos. Porém, os avanços recentes nas tecnologias de Visão Computacional e Aprendizado de Máquina permitem cada vez mais a superação destes obstáculos. Portanto, o objetivo deste trabalho consiste na implementação de um pipeline completo para o reconhecimento dos sinais do alfabeto manual de Libras, incluindo a coleta de fontes para a elaboração do conjunto de dados, a extração dos pontos de referência das mãos, e o treinamento de uma Rede Long Short-Term Memory capaz de analisar os sinais individuais.

Abstract (english)

Brazilian Sign Language (Libras) is a visual language that, much like many other sign languages, still does not possess a sufficiently developed infrastructure to support it. This is further aggravated when considering its importance as a means of communication for the deaf community. For a long time, the analysis of signs in Libras has been a difficult task for computers, in part due to the spatial-temporal dependencies involved in the recognition of gestures that utilize hand movements. Recently, however, advances in Computer Vision and Machine Learning have increasingly allowed for the overcoming of these hurdles. Therefore, the goal of the work done here is to implement a complete pipeline for the recognition of signs from the Libras manual alphabet, including the gathering of sources for the development of the dataset, the extraction of landmarks from each hand, and the training of a Long Short-Term Memory network capable of analysing individual signs.

Description

Keywords

Língua Brasileira de Sinais, Rede LSTM, Detecção de pontos de referência, Reconhecimento de linguagem de sinais, Brazilian Sign Language, LSTM network, Landmark detection, Sign language recognition

Language

Portuguese

Citation

CALIMAN, Pedro Ferreira. Desenvolvimento de um sistema de reconhecimento de sinais do alfabeto manual de Libras utilizando MediaPipe Hands e rede LSTM. 2024. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2024.

Related itens

Sponsors

Units

Departments

Undergraduate courses

Graduate programs