Real-time visual positioning with omnidirectional images

Abstract

The estimation of the position and orientation of a mobile platform in real-time while simultaneously reconstructing a map of the environment is a fundamental challenge in several areas, such as mobile robotics, autonomous vehicles, augmented reality and 3D mapping. Some approaches face challenges in outdoor environments where GNSS signals are unreliable or unavailable, particularly in dense forests or long corridors. In such scenarios, optical sensor-based navigation techniques, such as visual Simultaneous Localization and Mapping (vSLAM), provide an alternative by leveraging images to estimate trajectory and generate a 3D point cloud. However, these methods are prone to errors caused by lighting changes, occlusions, and limited image overlap. Fisheye cameras, with their wide FoV, show promise in mitigating some of these limitations by capturing more contextual information in each frame. Nonetheless, their use introduces challenges in mathematical modelling, as the standard collinearity model is inadequate. This work proposes a real-time positioning solution for a mobile backpack platform, employing a dual omnidirectional camera system featuring hyperhemispherical fisheye lenses (Ricoh Theta S), with a rigorous equisolid projection model to improve trajectory estimation accuracy. The terrestrial mobile mapping approach utilises parallel processing on CPU and GPU resources to achieve real-time performance, even in challenging environments. The developed approach adapts the ORB-SLAM software to fisheye geometries and evaluates its performance on the Nvidia Jetson TX2 platform, targeting autonomous navigation applications, where returning to the starting point is not feasible. The proposed solution addresses key challenges in real-time processing and trajectory consistency, with a focus on environments where GNSS signals are degraded or unavailable. The results evidenced consistent improvements in trajectory accuracy with the proposed approach: at the end of a 140 m trajectory, the equisolid model yielded a planimetric RMSE in E of 3.94 m, compared to 40.86 m for the generic EUCM model.

A estimação do posicionamento e da orientação de uma plataforma móvel em tempo real com a reconstrução simultânea de um mapa do ambiente é um problema fundamental em diversas áreas, como robótica móvel, desenvolvimento de veículos autônomos, realidade aumentada e mapeamento 3D. Algumas abordagens enfrentam dificuldades em ambientes externos onde sinais GNSS (Global Navigation Satellite System) são pouco confiáveis ou inexistentes, especialmente em florestas densas ou corredores urbanos longos. Nesses cenários, técnicas de navegação com sensores ópticos, como o vSLAM (visual Simultaneous Localization and Mapping) oferecem uma alternativa, utilizando imagens para estimar a trajetória e a nuvem de pontos 3D. No entanto, essas soluções são afetadas por erros causados por mudanças na iluminação, oclusões e limitações na sobreposição de imagens. As câmaras fisheye, devido ao seu amplo campo de visão, demonstram potencial para mitigar algumas dessas limitações, capturando mais informações contextuais a cada imagem. Contudo, o uso dessas lentes apresenta desafios de modelagem matemática, uma vez que o modelo de colinearidade padrão não é adequado. O presente trabalho propõe uma solução de posicionamento em tempo real para uma plataforma móvel (mochila), utilizando um sistema omnidirecional dual de câmaras com lentes fisheye hiperhemisféricas (Ricoh Theta S), com um rigoroso modelo de projeção equisólido para melhorar a precisão da estimativa de trajetória. A abordagem de mapeamento móvel terrestre utiliza processamento paralelo com os recursos de CPU e GPU para alcançar desempenho em tempo real, mesmo em ambientes complexos. A abordagem desenvolvida adaptou o software ORB-SLAM para geometrias fisheye e avaliou seu desempenho na plataforma Nvidia Jetson TX2, com foco em aplicações de navegação autônoma, em que retornar ao ponto de partida não é viável. A solução proposta aborda desafios-chave no processamento em tempo real e na consistência da trajetória, com foco em ambientes onde o sinal GNSS está degradado ou não disponível. Os resultados evidenciaram melhorias consistentes na acurácia da trajetória com a abordagem proposta: ao final de uma trajetória de 140 m, o modelo equisólido apresentou RMSE planimétrico em E de 3,94 m, frente a 40,86 m do modelo genérico EUCM.