Um método não determinístico para a calibração semiautomática de HMDs OST baseados em smartphone
Carregando...
Data
2021-12-10
Autores
Covolan, João Pedro Mucheroni
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Resumo
Em um sistema de Realidade Aumentada (RA), elementos reais e virtuais devem ser apresentados de maneira coerente, como se coexistissem em um mesmo ambiente. Atingir esse requisito, que recebe o nome de registro, é especialmente desafiador em certas configurações de hardware, como é o caso dos Head Mounted Displays (HMDs) que utilizam a abordagem Optical See-Through (OST). Além disso, alguns desses dispositivos vêm sendo apresentados em uma arquitetura em que estão associados a um smartphone, o que traz desafios adicionais. O registro exige um processo de calibração que, em geral, é realizado por meio de métodos de otimização determinísticos. Entretanto, uma série de abordagens não determinísticas também vêm sendo propostas, apresentando resultados promissores. Dentro desse contexto, foi desenvolvido neste trabalho um método para calibração semiautomática de HMDs OST baseados em smartphone, utilizando otimização não determinística. Dentre os vários algoritmos não determinísticos existentes, foram testados os algoritmos de recozimento simulado, estratégia evolutiva e enxame de partículas. O método de calibração foi implementado em um software e testado por meio de uma aplicação que realiza o registro de um objeto virtual em uma cena de RA. O método foi avaliado, principalmente, por meio do cálculo do Erro Quadrático Médio (EQM), em cada etapa da calibração, levando em consideração a diferença entre as posições ideais/observadas de um conjunto de pontos de referência e as posições estimadas a partir dos valores determinados para os parâmetros de calibração. Obteve-se uma calibração acurada para o espaço peripessoal, com EQMs semelhantes para os três algoritmos testados.
In an Augmented Reality (AR) system, real and virtual elements must be presented in a coherent way, as if they coexist in the same environment. Meeting this requirement, which is called registration, is especially challenging in certain hardware configurations, such as Head Mounted Displays (HMDs) using the Optical See-Through (OST) approach. In addition, some of these devices have been presented in an architecture in which they are associated with a smartphone, which brings additional challenges. Registration requires a calibration process that, in general, is performed using deterministic optimization methods. However, a series of non-deterministic approaches have also been proposed, showing promising results. Within this context, a method for semi-automatic calibration of smartphone-based OST HMDs was developed in this work, using non-deterministic optimization. Among the several existing non-deterministic algorithms, the simulated annealing, evolutionary strategy and particle swarm algorithms were tested. The calibration method was implemented in software and tested through an application that registers a virtual object in an AR scene. The method was mainly evaluated by calculating the Mean Squared Error (MSE) at each step of the calibration, taking into account the difference between the ideal/observed positions of a set of reference points and the positions estimated from the determined values for the calibration parameters. An accurate calibration was obtained for the peripersonal space, with similar MSEs for the three algorithms tested.
In an Augmented Reality (AR) system, real and virtual elements must be presented in a coherent way, as if they coexist in the same environment. Meeting this requirement, which is called registration, is especially challenging in certain hardware configurations, such as Head Mounted Displays (HMDs) using the Optical See-Through (OST) approach. In addition, some of these devices have been presented in an architecture in which they are associated with a smartphone, which brings additional challenges. Registration requires a calibration process that, in general, is performed using deterministic optimization methods. However, a series of non-deterministic approaches have also been proposed, showing promising results. Within this context, a method for semi-automatic calibration of smartphone-based OST HMDs was developed in this work, using non-deterministic optimization. Among the several existing non-deterministic algorithms, the simulated annealing, evolutionary strategy and particle swarm algorithms were tested. The calibration method was implemented in software and tested through an application that registers a virtual object in an AR scene. The method was mainly evaluated by calculating the Mean Squared Error (MSE) at each step of the calibration, taking into account the difference between the ideal/observed positions of a set of reference points and the positions estimated from the determined values for the calibration parameters. An accurate calibration was obtained for the peripersonal space, with similar MSEs for the three algorithms tested.
Descrição
Palavras-chave
Realidade Aumentada, Head Mounted Displays, Optical See-Through, Smartphone, Calibração, Otimização não determinística, Augmented Reality, Calibration, Non-deterministic optimization