Implementação de um sistema de captura de movimentos de sinais de Libras para a animação de avatares 3D

Abstract

Este trabalho propõe um sistema que captura e redireciona os movimentos da Língua Brasileira de Sinais (LIBRAS) para animar avatares 3D, usando ferramentas de inteligência artificial e visão computacional. A captura dos gestos é realizada com o MediaPipe, que identifica e rastreia pontos-chave do corpo em vídeos de sinais de LIBRAS. Esses dados, uma vez extraídos, são processados pelo motor Unity3D, que anima avatares com base nas informações de movimento obtidas. O sistema implementa um pipeline que envolve: o pré-processamento dos vídeos com os sinais isolados de Libras obtidos do dataset V-LIBRASIL, a extração dos posicionamentos das juntas da parte superior do corpo e mãos (com o uso da biblioteca MediaPipe Pose), a transposição dos movimentos capturados para um esqueleto virtual, bem como a renderização final deste esqueleto, por meio da biblioteca Unity3D. O esqueleto virtual gerado, pode, em trabalhos futuros, ter sua topologia adaptada para ser utilizado na animação de avatares humanóides 3D.

This work proposes a system that captures and redirects Brazilian Sign Language (LIBRAS) movements to animate 3D avatars using artificial intelligence and computer vision tools. Gesture capture is performed with MediaPipe, which identifies and tracks body keypoints in videos of LIBRAS signs. Once extracted, these data are processed by the Unity3D engine, which animates avatars based on the captured motion data. The system implements a pipeline that includes preprocessing videos of isolated LIBRAS signs from the V-LIBRASIL dataset, extracting joint positions of the upper body and hands (using the MediaPipe Pose library), transferring the captured movements to a virtual skeleton, and rendering this skeleton with the Unity3D library. The generated virtual skeleton can, in future works, have its topology adapted for animating humanoid 3D avatars.