Efficient NeRF Optimization -- Not All Samples Remain Equally Hard

📄 arXiv: 2408.03193v1 📥 PDF

作者: Juuso Korhonen, Goutham Rangu, Hamed R. Tavakoli, Juho Kannala

分类: cs.CV

发布日期: 2024-08-06

💡 一句话要点

提出在线难例挖掘优化NeRF，显著提升训练效率和渲染质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 难例挖掘 高效训练 视图合成 3D重建 渲染

📋 核心要点

  1. NeRF训练计算资源需求大，随机采样导致大量算力浪费在已学习好的简单样本上。
  2. 提出在线难例挖掘策略，通过前向推理快速筛选难例，仅对难例进行反向传播和参数更新。
  3. 实验表明，该方法在Instant-NGP上显著提升了视图合成质量，并节省了大量内存。

📝 摘要（中文）

本文提出了一种在线难例挖掘方法，用于高效训练神经辐射场（NeRF）。NeRF模型在许多3D重建和渲染任务中能产生最先进的质量，但需要大量的计算资源。场景信息被编码在NeRF网络参数中，这需要随机采样。我们观察到，在训练过程中，大部分计算时间和内存消耗都花费在处理已经学习过的样本上，这些样本对模型更新的影响不再显著。我们将随机样本的反向传播确定为优化过程中的计算瓶颈。因此，我们首先在推理模式下执行前向传播，以相对较低的成本搜索难例。然后，仅使用难例构建计算图并更新NeRF网络参数。为了证明该方法的有效性，我们将其应用于Instant-NGP，结果表明，与基线相比，视图合成质量得到了显著提高（每个训练时间平均提高1 dB，或达到相同PSNR水平的速度提高2倍），并且由于仅使用难例来构建计算图，因此节省了约40%的内存。由于我们的方法仅与网络模块交互，因此我们预计它将得到广泛应用。

🔬 方法详解

问题定义：NeRF模型虽然能实现高质量的3D重建和渲染，但其训练过程计算量巨大，耗时较长。现有的随机采样策略导致大量计算资源被浪费在对模型更新贡献不大的简单样本上，降低了训练效率。因此，如何减少冗余计算，提升NeRF训练效率是本文要解决的核心问题。

核心思路：本文的核心思路是利用在线难例挖掘（Online Hard Sample Mining, OHSM）策略，在每次迭代中，首先通过一个低成本的前向推理过程，筛选出对模型更新贡献最大的“难例”，然后仅对这些难例进行反向传播和参数更新。这样可以避免在简单样本上浪费计算资源，从而提升训练效率。

技术框架：该方法主要包含以下几个阶段：1. 前向推理（Inference Mode）：对所有随机采样的点进行前向推理，计算每个样本的损失值。2. 难例选择（Hard Sample Selection）：根据损失值的大小，选择损失值较高的样本作为“难例”。3. 反向传播和参数更新（Backward Pass & Parameter Update）：仅对选定的难例构建计算图，进行反向传播，并更新NeRF网络参数。

关键创新：该方法最重要的创新点在于将在线难例挖掘策略引入到NeRF的训练过程中。与传统的随机采样方法相比，该方法能够动态地选择对模型更新贡献最大的样本进行训练，从而避免了在简单样本上的冗余计算，显著提升了训练效率。

关键设计：该方法的关键设计包括：1. 难例选择策略：可以根据损失值的百分比或固定数量来选择难例。2. 损失函数：可以使用常用的NeRF损失函数，如MSE损失。3. 前向推理模式：为了降低计算成本，前向推理可以在较低精度下进行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Instant-NGP上取得了显著的性能提升。在视图合成质量方面，与基线相比，每个训练时间平均提高了1 dB PSNR，或者达到相同PSNR水平的速度提高了2倍。此外，由于仅使用难例来构建计算图，因此节省了约40%的内存。

🎯 应用场景

该研究成果可广泛应用于各种需要高效NeRF训练的场景，例如：移动端的3D重建和渲染、实时虚拟现实应用、以及大规模场景的建模等。通过降低NeRF的计算资源需求，该方法有望推动NeRF技术在更多实际应用中的普及。

📄 摘要（原文）

We propose an application of online hard sample mining for efficient training of Neural Radiance Fields (NeRF). NeRF models produce state-of-the-art quality for many 3D reconstruction and rendering tasks but require substantial computational resources. The encoding of the scene information within the NeRF network parameters necessitates stochastic sampling. We observe that during the training, a major part of the compute time and memory usage is spent on processing already learnt samples, which no longer affect the model update significantly. We identify the backward pass on the stochastic samples as the computational bottleneck during the optimization. We thus perform the first forward pass in inference mode as a relatively low-cost search for hard samples. This is followed by building the computational graph and updating the NeRF network parameters using only the hard samples. To demonstrate the effectiveness of the proposed approach, we apply our method to Instant-NGP, resulting in significant improvements of the view-synthesis quality over the baseline (1 dB improvement on average per training time, or 2x speedup to reach the same PSNR level) along with approx. 40% memory savings coming from using only the hard samples to build the computational graph. As our method only interfaces with the network module, we expect it to be widely applicable.