Implementação de um sistema de captura de movimentos de sinais de Libras para a animação de avatares 3D
Carregando...
Arquivos
Data
2024-11-14
Autores
Orientador
Sementille, Antonio Carlos 
Coorientador
Pós-graduação
Curso de graduação
Bauru - FC - Ciência da Computação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
Este trabalho propõe um sistema que captura e redireciona os movimentos da Língua Brasileira de Sinais (LIBRAS) para animar avatares 3D, usando ferramentas de inteligência artificial e visão computacional. A captura dos gestos é realizada com o MediaPipe, que identifica e rastreia pontos-chave do corpo em vídeos de sinais de LIBRAS. Esses dados, uma vez extraídos, são processados pelo motor Unity3D, que anima avatares com base nas informações de movimento obtidas. O sistema implementa um pipeline que envolve: o pré-processamento dos vídeos com os sinais isolados de Libras obtidos do dataset V-LIBRASIL, a extração dos posicionamentos das juntas da parte superior do corpo e mãos (com o uso da biblioteca MediaPipe Pose), a transposição dos movimentos capturados para um esqueleto virtual, bem como a renderização final deste esqueleto, por meio da biblioteca Unity3D. O esqueleto virtual gerado, pode, em trabalhos futuros, ter sua topologia adaptada para ser utilizado na animação de avatares humanóides 3D.
Resumo (inglês)
This work proposes a system that captures and redirects Brazilian Sign Language (LIBRAS) movements to animate 3D avatars using artificial intelligence and computer vision tools. Gesture capture is performed with MediaPipe, which identifies and tracks body keypoints in videos of LIBRAS signs. Once extracted, these data are processed by the Unity3D engine, which animates avatars based on the captured motion data. The system implements a pipeline that includes preprocessing videos of isolated LIBRAS signs from the V-LIBRASIL dataset, extracting joint positions of the upper body and hands (using the MediaPipe Pose library), transferring the captured movements to a virtual skeleton, and rendering this skeleton with the Unity3D library. The generated virtual skeleton can, in future works, have its topology adapted for animating humanoid 3D avatars.
Descrição
Palavras-chave
Idioma
Português
Como citar
VAL, Gabriel Junqueira do. Implementação de um sistema de captura de movimentos de sinais de Libras para a animação de avatares 3D. Orientador: Antonio Carlos Sementille. 2024. 76 f. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) - Universidade Estadual Paulista, Bauru, 2024.