Animação facial baseada em blendshapes utilizando Floresta de Caminhos Ótimos e Floresta Aleatória

Abstract

Nas últimas décadas, o interesse quanto à captura de movimentos da face humana e à identificação de suas expressões, com a finalidade de geração de animações faciais realistas, tem aumentado, tanto na comunidade científica quanto na indústria do entretenimento. A alta acurácia nesse processo é necessária, pois os humanos são naturalmente treinados para identificar expressões faciais, detectando facilmente pequenas imperfeições na animação de uma face virtual. O redirecionamento de movimento facial é uma das técnicas utilizadas para gerar animações realistas, principalmente em filmes. Muitos sistemas foram desenvolvidos e consistem, de maneira geral, de uma fase de modelagem, captura de movimentos e identificação de expressões faciais, seguido de um procedimento de redirecionamento de expressões. Para o redirecionamento são aplicadas várias técnicas, onde algoritmos de cálculo de distância ou redes neurais são utilizados, fazendo com que a face final gerada no processo seja próxima a da captura. Nesse sentido, a utilização de novas técnicas é extremamente útil permitindo que a acurácia do processo e a velocidade sejam melhoradas. Considerando o contexto exposto, o presente trabalho tem como principal objetivo implementar e validar um sistema de animação facial, o qual utiliza um modelo de classificador supervisionado capaz de identificar as expressões mais comuns da face humana e redirecioná-las, de forma automática, a um modelo de face gerado a partir da combinação de um pequeno número de blendshapes (mistura de formas). Com isso, foi gerado um sistema de animação facial que, através da captura de faces com câmeras RGB e usando como referências apenas informações 2D, conseguiu gerar expressões próximas a da captura utilizando classificadores mais leves, possibilitando o uso em dispositivos acessíveis com tablets, celulares e desktops de baixo custo.

In the last decades, the interest in capturing human face movements and identifying their expressions, in order to generate realistic facial animations, has increased, both in the scientific community and in the entertainment industry. High accuracy in this process is necessary, as humans are naturally trained to identify facial expressions, easily detecting small imperfections in the animation of a virtual face. Facial motion redirection is one of the techniques used to generate realistic animations, especially in movies. Many systems have been developed and generally consist of a modeling, motion capture and facial expression identification phase, followed by an expression redirection procedure. For the redirection, several techniques are applied, where distance calculation algorithms or neural networks are used, making the final face generated in the process close to the capture. In this sense, the use of new techniques is extremely useful, allowing the process accuracy and speed to be improved. Considering the above context, the main objective of this work is to implement and validate a facial animation system, which uses a supervised classifier model capable of identifying the most common expressions of the human face and automatically redirecting them to a face model generated from the combination of a small number of blendshapes. With this, a facial animation system was generated that, through the capture of faces with RGB cameras and using only 2D information as references, managed to generate expressions close to the capture using lighter classifiers, allowing the use in accessible devices with tablets, cell phones and low-end desktops.