Reconhecimento de sinais do alfabeto da libras usando visão computacional

Abstract

Naturalmente pautado pela coletividade, o ser humano é dependente de relações sociais. Nesse sentido, a comunicação é uma das ferramentas mais importantes para a criação de laços comoutras pessoas. Apesar disso, ela pode representar um grande desafio para deficientes auditivos, quando desejam comunicar-se com falantes. A Libras, Língua Brasileira de Sinais, é a língua utilizada pelos deficientes auditivos no Brasil. Embora um dos idiomas oficiais do país, um grupo muito restrito de pessoas a conhece, o que dificulta o acesso aos deficientes auditivos a muitas coisas, como serviços públicos. Visando caminhar rumo à inclusão dessas pessoas,este trabalho apresenta um protótipo de tradutor de Libras para Português que contempla 20 letras do alfabeto. O mesmo utiliza ferramentas de Visão Computacional como técnicas de Processamento de Imagem e Aprendizado de Máquina para desenvolver um classificador capaz de identificar qual a letra sinalizada analisando uma imagem capturada por uma câmera RGB. O classificador desenvolvido obteve aproximadamente 88% de acurácia e 0.45 de loss na avaliação do conjunto de validação, no qual foram aplicadas técnicas de aumento de dados.

Naturally guided by the collectivity, the humans are dependent on social relations. Considering this, communication is one of the most important tools for bonding with others. Nevertheless, it can pose a major challenge for the hearing impaired when they wish to communicate with speakers. Libras, the Brazilian Sign Language, is the language used by the hearing impaired in Brazil. Although one of the country’s official languages, a very small group of people know it, which makes it difficult for deaf people to access many things, such as public services. Aiming to walk towards the inclusion of these people, this work presents a prototype translator from Libras to Portuguese that includes 20 letters of the alphabet. It uses Computer Vision tools such as Image Processing and Machine Learning techniques to develop a classifier that can identify which letter is signaled by analyzing an image captured by a RGB camera. The developed classifier obtained approximately 88% of accuracy and 0.45 of loss in the validationset evaluation, in which data augmentation techniques were applied.