BioNeRF: biologically plausible neural radiance fields for view synthesis

Abstract

This scientific report presents BioNeRF, a biologically plausible architecture that models scenes in a 3D representation and synthesizes new views through radiance fields. Since NeRF relies on the network weights to store the scene's 3-dimensional representation, BioNeRF implements a cognitive-inspired mechanism that fuses inputs from multiple sources into a memory-like structure, improving the storing capacity and extracting more intrinsic and correlated information. BioNeRF also mimics a behavior observed in pyramidal cells concerning contextual information, in which the memory is provided as the context and combined with the inputs of two subsequent neural models, one responsible for producing the volumetric densities and the other the colors used to render the scene.Besides, the proposed architecture was extensively evaluated on two benchmark datasets containing synthetic and real images. Experimental results demonstrate that BioNeRF outperforms state-of-the-art methods in metrics such as PSNR, SSIM, and LPIPS, highlighting the model's robustness in generating images that more accurately reflect human perception.

Este relatório científico apresenta o BioNeRF, uma arquitetura biologicamente plausível que modela cenas em uma representação tridimensional (3D) e sintetiza novas visões por meio de campos de radiância. Enquanto o NeRF tradicional depende dos pesos da rede para armazenar a representação 3D da cena, o BioNeRF implementa um mecanismo inspirado na cognição, que funde entradas provenientes de múltiplas fontes em uma estrutura semelhante à memória, ampliando a capacidade de armazenamento e extraindo informações mais intrínsecas e correlacionadas. O BioNeRF também imita um comportamento observado em células piramidais em relação à informação contextual, no qual a memória atua como contexto e é combinada com as entradas de dois modelos neurais subsequentes: um responsável por produzir as densidades volumétricas e outro pelas cores utilizadas na renderização da cena. Além disso, a arquitetura proposta foi extensivamente avaliada em dois conjuntos de dados de referência, contendo imagens sintéticas e reais. Os resultados experimentais demonstram que o BioNeRF supera métodos de ponta em métricas como PSNR, SSIM e LPIPS, evidenciando a robustez do modelo na geração de imagens que refletem com maior precisão a percepção humana.