Radiance Fields from Photons

📄 arXiv: 2407.09386v2 📥 PDF

作者: Sacha Jungerman, Aryan Garg, Mohit Gupta

分类: cs.CV, eess.IV

发布日期: 2024-07-12 (更新: 2024-12-03)

💡 一句话要点

提出基于单光子相机（SPC）的Quanta NeRF，解决低光、高动态范围和高速运动下的NeRF重建问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 单光子相机 三维重建 低光照 高动态范围 高速运动 视角合成

📋 核心要点

  1. 传统NeRF在低光、高动态范围或快速运动等场景下，图像质量受限，导致重建效果不佳，出现模糊和伪影。
  2. 论文提出Quanta NeRF，利用单光子相机（SPC）捕获的单个光子信息，在光子级别上训练NeRF，提升重建质量。
  3. 通过模拟和硬件原型验证，Quanta NeRF在高速运动、低光照和高动态范围等极端条件下实现了高保真重建。

📝 摘要（中文）

神经辐射场（NeRFs）已成为高质量视角合成的事实标准方法，它利用从多个视角捕获的图像集合。然而，在诸如低光照、高动态范围或快速运动等具有挑战性的条件下进行图像捕获时，仍然存在许多问题，这些问题会导致重建模糊并产生明显的伪影。本文介绍了一种新型的神经辐射场，称为量子辐射场（quanta radiance fields），它使用单光子相机（SPCs）在单个光子的粒度上进行训练。我们开发了理论和实用的计算技术，用于构建辐射场，并从SPC捕获的非常规、随机和高速二元帧序列中估计密集的相机姿态。通过模拟和SPC硬件原型，我们展示了在高速运动、低光照和极端动态范围设置下的高保真重建。

🔬 方法详解

问题定义：传统NeRF方法在低光照、高动态范围以及高速运动等极端条件下，由于图像质量下降（例如噪声、模糊），导致重建效果不佳，出现明显的伪影。现有的NeRF方法难以有效处理这些挑战性场景。

核心思路：论文的核心思路是利用单光子相机（Single-Photon Cameras, SPCs）捕获的单个光子信息，直接在光子级别上构建和训练神经辐射场。SPCs能够记录每个光子的到达时间和位置，从而提供了一种对光照条件和运动更加鲁棒的输入数据。

技术框架：Quanta NeRF的整体框架包括以下几个主要阶段：1) 使用SPC捕获场景的光子数据；2) 对光子数据进行预处理，包括噪声过滤和校正；3) 构建基于光子信息的神经辐射场，该辐射场将3D空间中的点映射到辐射值和密度；4) 使用捕获的光子数据训练神经辐射场，优化网络参数；5) 利用训练好的神经辐射场进行视角合成。

关键创新：Quanta NeRF最重要的技术创新在于它将NeRF的训练粒度降低到单个光子的级别。与传统的基于图像的NeRF方法不同，Quanta NeRF直接利用光子到达时间和位置信息，从而能够更好地处理低光照、高动态范围和高速运动等场景。此外，论文还提出了针对SPC数据的辐射场构建和训练方法。

关键设计：Quanta NeRF的关键设计包括：1) 使用泊松过程对光子的到达进行建模；2) 设计了针对SPC数据的损失函数，该损失函数考虑了光子的随机性和噪声；3) 优化了网络结构，以适应光子数据的特点。具体的网络结构和参数设置在论文中有详细描述，包括MLP的层数、每层的神经元数量以及激活函数等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过模拟和硬件原型验证了Quanta NeRF的有效性。在低光照条件下，Quanta NeRF的重建质量明显优于传统的NeRF方法。在高动态范围场景中，Quanta NeRF能够重建出更多的细节。在高速运动场景中，Quanta NeRF能够有效地消除运动模糊，重建出清晰的图像。具体的性能数据和对比结果在论文中有详细展示。

🎯 应用场景

Quanta NeRF在许多领域具有潜在的应用价值，例如：在低光照或高速运动条件下进行三维重建，可用于自动驾驶、机器人导航、医学成像等领域。此外，该方法还可以用于高动态范围场景的重建，例如在监控、安防等领域。未来，Quanta NeRF有望推动相关领域的发展，提高三维重建的精度和鲁棒性。

📄 摘要（原文）

Neural radiance fields, or NeRFs, have become the de facto approach for high-quality view synthesis from a collection of images captured from multiple viewpoints. However, many issues remain when capturing images in-the-wild under challenging conditions, such as low light, high dynamic range, or rapid motion leading to smeared reconstructions with noticeable artifacts. In this work, we introduce quanta radiance fields, a novel class of neural radiance fields that are trained at the granularity of individual photons using single-photon cameras (SPCs). We develop theory and practical computational techniques for building radiance fields and estimating dense camera poses from unconventional, stochastic, and high-speed binary frame sequences captured by SPCs. We demonstrate, both via simulations and a SPC hardware prototype, high-fidelity reconstructions under high-speed motion, in low light, and for extreme dynamic range settings.