Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses

Abstract

A combinação de duas lentes com FOV hiper-hemisférico em posição opostas pode gerar um sistema omnidirecional (FOV 360°) leve, compacto e de baixo custo, como Ricoh Theta S e GoPro Fusion. Entretanto, apenas algumas técnicas e modelos matemáticos para a calibração um sistema com duas lentes hiper-hemisféricas são apresentadas na literatura. Nesta pesquisa, é avaliado e definido um modelo geométrico para calibração de sistemas omnidirecionais compostos por duas lentes hiper-hemisféricas e apresenta-se algumas aplicações com esse tipo de sistema. A calibração das câmaras foi realizada no programa CMC (calibração de múltiplas câmeras) utilizando imagens obtidas a partir de vídeos feitos com a câmara Ricoh Theta S no campo de calibração 360°. A câmara Ricoh Theta S é composto por duas lentes hiper-hemisféricas fisheye que cobrem 190° cada uma. Com o objetivo de avaliar as melhorias na utilização de pontos em comum entre as imagens, dois conjuntos de dados de pontos foram considerados: (1) apenas pontos no campo hemisférico, e (2) pontos em todo o campo de imagem (isto é, adicionar pontos no campo de imagem hiper-hemisférica). Primeiramente, os modelos ângulo equisólido, equidistante, estereográfico e ortogonal combinados com o modelo de distorção Conrady-Brown foram testados para a calibração de um sensor da câmara Ricoh Theta S. Os modelos de ângulo-equisólido e estereográfico apresentaram resultados melhores do que os outros modelos. Portanto, esses dois modelos de projeção foram utilizados em uma calibração simultânea da câmera (ou seja, ambos os sensores Ricoh Theta S foram considerados em um mesmo procedimento). POIs (parâmetros de orientação interior) e POEs (parâmetros de orientação exterior) de ambos os sensores, e POR (parâmetros de orientação relativa) foram estimados em um ajustamento de blocos com injunção de estabilidade dos ROPs. Os modelos ângulo-equisólido e estereográfico apresentaram bons resultados com o uso dos pontos na área hiper-hemisférica da imagem para a estimação dos POIs, POEs e PORs. No entanto, o ajustamento baseado no modelo ângulo-equisólido com injunção de estabilidade apresentou os melhores resultados. Neste trabalho, também é apresentado duas aplicações com sistemas omnidirecionais: mapeamento 3D de uma área urbana usando um sistema de mapeamento móvel terrestre, composto pela câmara Ricoh Theta S, e a geração da nuvem 3D de uma área agrícola com a câmara GoPro Fusion, que também é composta por duas lentes hiper-hemisféricas. Ambos experimentos apresentaram o potencial do uso de sistemas omnidirecionais na geração de nuvem de pontos fotogramétrica e extração de atributos importantes para cada aplicação.

The arrangement of two hyper-hemispherical fisheye lenses in opposite position can design a light weight, small and low-cost omnidirectional system (360° FOV), e.g. Ricoh Theta S and GoPro Fusion. However, only a few techniques are presented in the literature to calibrate a dual-fisheye system. In this research, a geometric model for dual-fisheye system calibration was evaluated, and some applications with this type of system are presented. The calibrating bundle adjustment was performed in CMC (calibration of multiple cameras) software by using the Ricoh Theta video frames of the 360° calibration field. The Ricoh Theta S system is composed of two hyper-hemispherical fisheye lenses with 190° FOV each one. In order to evaluate the improvement in applying points in the hyper-hemispherical image field, two data set of points were considered: (1) observations that are only in the hemispherical field, and (2) points in all image field, i.e. adding points in the hyper-hemispherical image field. First, one sensor of the Ricoh Theta S system was calibrated in a bundle adjustment based on the equidistant, equisolid-angle, stereographic and orthogonal models combined with Conrady-Brown distortion model. Results showed that the equisolid-angle and stereographic models can provide better solutions than those of the others projection models. Therefore, these two projection models were implemented in a simultaneous camera calibration, in which the both Ricoh Theta sensors were considered in a same procedure. IOPs (interior orientation parameters) and EOPs (exterior orientation parameters) of both sensors, and a set of ROPs (relative orientation parameters) were estimated in a bundle adjustment based on stability constraints of ROPs. Both equisolid-angle and stereographic models presented good performances; meanwhile, the equisolid-angle model showed more stable results than stereographic model when adding observation in the hyper-hemispherical image field. In this research, two applications applying dual-fisheye cameras are also investigated: 3D city mapping using a PMTS (portable mobile terrestrial system) that is composed of Ricoh Theta S dual-camera, and 3D crop modelling using GoPro Fusion dual-camera. Both experimental assessments presented the potential advantage of using the omnidirectional system to generate a 3D point cloud, in which can extract important attributes for each application.