Reconhecimento de palavras em língua de sinais baseado em aprendizado profundo e descritores handcrafted de baixo custo - Carneiro, Álvaro Leandro Cavalcante [UNESP] (Universidade Estadual Paulista (Unesp), 2023)
Diversas técnicas de aprendizado profundo e visão computacional têm sido utilizadas nos últimos anos para a criação de sistemas de reconhecimento e tradução de língua de sinais para a língua nativa a partir de vídeos, servindo como uma ferramenta de comunicação para os milhões de deficientes auditivos ao redor do mundo. Ainda assim, inúmeros fatores devem ser considerados para a criação de um sistema como esse, aumentando a complexidade da tarefa. Primeiramente, o treinamento de um modelo de classificação exige uma grande quantidade de dados, o que representa uma dificuldade visto que esta área sofre com a carência de bases de dados em larga escala disponíveis publicamente. Além disso, a fim de evitar a ambiguidade entre as palavras, é preciso considerar o maior número de parâmetros linguísticos possíveis na execução dos gestos que formam os sinais. Na prática, acrescenta-se ainda que o conjunto tecnológico adotado seja condizente com a realidade, evitando sensores custosos, intrusivos ou com baixa mobilidade, bem como arquiteturas muito complexas de aprendizado profundo, reduzindo os requisitos computacionais. Isso é importante para possibilitar a adoção em larga escala e em ambiente real da solução criada, promovendo a acessibilidade. Baseado nisso, este trabalho tem como objetivo propor um sistema eficiente de reconhecimento de palavras em língua de sinais, adotando sensores e técnicas de baixo custo. Para isso, diversas arquiteturas de detecção de objetos foram simplificadas e treinadas especificamente para a tarefa de detecção da face e das mãos do intérprete, garantindo o foco nas regiões mais relevantes da imagem e gerando entradas com maior valor semântico para o classificador. Além disso, uma nova abordagem foi proposta para obtenção de atributos utilizados para representação do ponto de contato e do movimento das mãos, aumentando a discriminação entre os sinais. Os resultados obtidos demonstram a eficiência dos detectores, atingindo um mAP de mais de 95% com a velocidade de inferência até 77% menor em relação à versão original do modelo. Ademais, os atributos handcrafted (criados sem a ajuda de modelos) geraram um acréscimo de 7,96% de acurácia em um dos conjuntos de dados testados, adicionando menos de 700 mil parâmetros, demonstrando o potencial da técnica em aumentar a compensação entre custo computacional e acurácia.

Several deep learning and computer vision techniques have been used in recent years to create systems for recognizing and translating sign language into native language from videos, serving as a communication tool for the millions of hearing impaired people around the world. Nevertheless, a number of factors must be considered to create such a system, increasing the complexity of the task. First of all, training a classification model requires a large amount of data, which represents a difficulty, since this area suffers from the lack of large-scale publicly available datasets. Moreover, in order to avoid ambiguity between words, it is necessary to consider as many linguistic parameters as possible in the execution of the gestures that form the signs. In practice, it is also added that the technological set adopted is consistent with reality, avoiding expensive, intrusive, or low-mobility sensors, as well as very complex deep learning architectures, reducing the computational requirements. This is important to allow a large-scale and real-world adoption of the created solution, promoting accessibility. Based on this, this work aims to propose an efficient system for sign language recognition using low cost sensors and techniques. To this end, several object detection architectures were simplified and trained specifically for the task of detecting the interpreter’s face and hands, ensuring the focus on the most relevant regions of the image and generating inputs with higher semantic value for the classifier. In addition, a new approach was proposed for obtaining attributes used to represent the point of contact and hand movement, increasing the discrimination between the signs. The obtained results highlight the efficiency of the detectors, reaching an mAP of more than 95% and an inference speed up to 77% higher compared to the original version of the model. Furthermore, the handcrafted attributes (created without the help of models) increased the accuracy by 7.96% in one of the tested datasets with the addition of fewer than 700 thousand parameters, demonstrating the potential of the technique to improve the tradeoff between computational cost and accuracy.
Word-level sign language recognition based on deep learning and low-cost handcrafted descriptors
Keywords: Língua de sinais; Inteligência artificial; Processamento de imagens; Reconhecimento de padrões; Sign language; Artificial intelligence; Image processing; Pattern recognition