Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry from Sparse Low Dynamic Range Panoramic Images

📄 arXiv: 2312.15942v2 📥 PDF

作者: Zhan Lu, Qian Zheng, Boxin Shi, Xudong Jiang

分类: cs.CV, eess.IV

发布日期: 2023-12-26 (更新: 2024-02-23)

🔗 代码/项目: GITHUB

💡 一句话要点

Pano-NeRF：利用稀疏低动态范围全景图像和几何信息合成高动态范围新视角

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 全景图像 高动态范围 新视角合成 几何重建

📋 核心要点

  1. NeRF在几何恢复和HDR重建方面表现出色，但当输入稀疏LDR全景图像时，由于几何约束不足，性能会显著下降。
  2. Pano-NeRF的核心思想是将全景图像的辐射建模为光照信息信号和光源，利用辐照度场增加几何约束并进行HDR重建。
  3. 实验结果表明，Pano-NeRF在几何恢复和HDR重建方面优于现有技术，并能实现空间变化的光照估计。

📝 摘要（中文）

本文提出了一种名为Pano-NeRF的方法，用于解决在稀疏低动态范围(LDR)全景图像输入下，神经辐射场(NeRF)几何结构约束不足以及无法从LDR输入重建高动态范围(HDR)辐射的问题。我们观察到全景图像中每个像素的辐射既可以作为传递场景光照信息的信号，也可以作为照亮其他像素的光源。因此，我们提出了基于稀疏LDR全景图像的辐照度场，增加了观测数量，从而实现更可靠的几何结构恢复，并利用辐照度-辐射衰减进行HDR重建。大量实验表明，辐照度场在几何结构恢复和HDR重建方面优于现有方法，并验证了其有效性。此外，我们展示了空间变化光照估计这一有前景的副产品。代码已开源。

🔬 方法详解

问题定义：现有的NeRF方法在处理稀疏的低动态范围全景图像时，面临两个主要问题。一是由于视点稀疏，几何结构恢复不准确；二是低动态范围图像信息不足，难以重建高动态范围的场景辐射。现有方法难以同时解决这两个问题，导致合成的新视角图像质量下降。

核心思路：Pano-NeRF的核心思路是将全景图像中的每个像素辐射值视为两部分：一部分是携带场景光照信息的信号，另一部分是照亮场景中其他像素的光源。通过引入“辐照度场”的概念，将每个像素的辐射分解为直接辐射和间接辐照度，从而增加几何约束，并利用辐照度-辐射衰减关系进行HDR重建。

技术框架：Pano-NeRF的整体框架基于NeRF，但引入了辐照度场的概念。主要流程包括：1) 从稀疏LDR全景图像中采样射线；2) 使用NeRF网络预测每个采样点的密度、颜色和辐照度；3) 利用渲染方程，结合直接辐射和间接辐照度，计算每个像素的最终颜色；4) 使用光度损失和正则化项优化网络参数。

关键创新：Pano-NeRF的关键创新在于引入了辐照度场，将每个像素的辐射分解为直接辐射和间接辐照度。这种分解方式增加了几何约束，因为辐照度可以看作是从多个视点观察到的信息。同时，利用辐照度-辐射衰减关系，可以更好地从LDR图像中恢复HDR信息。

关键设计：Pano-NeRF的关键设计包括：1) 使用MLP网络预测每个采样点的密度、颜色和辐照度；2) 设计了光度损失函数，用于约束渲染图像与输入图像的一致性；3) 引入了正则化项，用于约束辐照度的平滑性；4) 采用了球谐函数对辐照度进行编码，以便更好地表示空间变化的光照信息。

📊 实验亮点

实验结果表明，Pano-NeRF在几何结构恢复和HDR重建方面均优于现有方法。在合成新视角图像的PSNR、SSIM和LPIPS指标上，Pano-NeRF相比于基线方法有显著提升。例如，在HDR重建任务中，Pano-NeRF的PSNR提升了2-3dB，表明其能够更准确地恢复场景的亮度信息。

🎯 应用场景

Pano-NeRF在扩展现实(XR)、虚拟现实(VR)和增强现实(AR)等领域具有广泛的应用前景。它可以用于从少量全景图像中重建高质量的3D场景，并合成高动态范围的新视角图像，从而提升用户体验。此外，Pano-NeRF还可以用于空间变化光照估计，为场景编辑和光照调整提供便利。

📄 摘要（原文）

Panoramic imaging research on geometry recovery and High Dynamic Range (HDR) reconstruction becomes a trend with the development of Extended Reality (XR). Neural Radiance Fields (NeRF) provide a promising scene representation for both tasks without requiring extensive prior data. However, in the case of inputting sparse Low Dynamic Range (LDR) panoramic images, NeRF often degrades with under-constrained geometry and is unable to reconstruct HDR radiance from LDR inputs. We observe that the radiance from each pixel in panoramic images can be modeled as both a signal to convey scene lighting information and a light source to illuminate other pixels. Hence, we propose the irradiance fields from sparse LDR panoramic images, which increases the observation counts for faithful geometry recovery and leverages the irradiance-radiance attenuation for HDR reconstruction. Extensive experiments demonstrate that the irradiance fields outperform state-of-the-art methods on both geometry recovery and HDR reconstruction and validate their effectiveness. Furthermore, we show a promising byproduct of spatially-varying lighting estimation. The code is available at https://github.com/Lu-Zhan/Pano-NeRF.