ARSTUDIO 2.0: um sistema de estúdio virtual para geração de conteúdo midiático baseado no motor de jogos Unity3D

Abstract

Tanto as produções de cinema quanto as de televisão e internet podem se beneficiar das técnicas de combinação de elementos virtuais (2D e 3D) e elementos reais fornecidos pela Realidade Aumentada e, portanto, a aplicação destas técnicas em sistemas de estúdio virtual tem se revelado uma abordagem bastante flexível e inovadora para a geração de conteúdo midiático. Na cadeia de produção tradicional, elementos virtuais geralmente são inseridos somente na fase de pós-produção, e, consequentemente, o conteúdo virtual só é visível depois que todo processo de edição é finalizado. No estúdio real a equipe de gravação e os atores são guiados por sinais visuais simples onde as personagens ou objetos virtuais devem aparecer. Com a utilização de técnicas de Realidade Aumentada é possível, em tempo real, que os estúdios virtuais permitam a inserção, interação e visualização de objetos virtuais durante todas as etapas da cadeia de produção, minimizando os erros de gravação e, consequentemente, reduzindo custos. Um grande problema na implementação de estúdios virtuais diz respeito à geração e interação com elementos virtuais 3D de alta definição e em tempo real. Tradicionalmente este problema é tratado utilizando-se bibliotecas gráficas. No entanto, outra possibilidade é a utilização dos recursos de motores de jogos. Considerando o contexto exposto, o objetivo principal do presente trabalho consistiu em elaborar, implementar e testar um estúdio virtual, de baixo custo, capaz de combinar as funções de realidade aumentada da biblioteca Vuforia e os recursos de computação gráfica fornecidos pelo motor de jogos Unity 3D, bem como as capacidades de captura de movimentos do Kinect v2 da Microsoft. Este estúdio virtual foi denominado ARSTUDIO versão 2.

Film, television and internet productions can benefit from the techniques of combining virtual elements (2D and 3D) with real elements provided by the use of Augmented Reality and, therefore, the application of these techniques in virtual studio systems have proved to be a quite flexible and innovative approach to the generation of media content. In traditional production pipelines, virtual elements are usually inserted only during the post-production phase, and consequently, the virtual content is only visible after the editing process is finished. While filming in the real studio, film crew and actors are guided by simple visual signals that represent where the virtual characters and objects should appear. With the use of Augmented Reality techniques it is possible, in real-time, that virtual studios allow for the insertion, interaction and visualization of virtual objects during all stages of the production pipeline, minimizing the recording errors and, consequently, reducing costs. A major problem in the implementation of virtual studios is the generation and interaction with high-definition 3D virtual elements in real-time. Traditionally this problem is handled using graphics libraries. However, another possibility is the use of game engines. Considering the above context, the main objective of this work was to design, implement and test a, low cost, virtual studio capable of combining functions from Vuforia's augmented reality library and the computer graphics capabilities provided by the Unity 3D game engine, as well as the motion capture capabilities from the Kinect v2 from Microsoft. This virtual studio was named ARSTUDIO version 2.