Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs

📄 arXiv: 2405.07857v3 📥 PDF

作者: Mingyu Kim, Jun-Seong Kim, Se-Young Yun, Jin-Hwa Kim

分类: cs.CV, cs.AI

发布日期: 2024-05-13 (更新: 2024-06-05)

备注: ICML2024 ; Project page is accessible at https://mingyukim87.github.io/SynergyNeRF ; Code is available at https://github.com/MingyuKim87/SynergyNeRF

💡 一句话要点

提出坐标网络与张量特征协同的NeRF方法，提升稀疏输入下的重建效果

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 三维重建 多平面表示 坐标网络

📋 核心要点

  1. 现有基于多平面表示的NeRF方法在稀疏输入下，难以有效捕捉低频信息，导致训练不稳定和参数冗余。
  2. 论文提出将坐标网络与多平面表示协同集成，坐标网络负责低频信息，多平面表示负责高频细节，并使用残差连接保持各自特性。
  3. 实验表明，该方法在稀疏输入下，静态和动态NeRF任务中均优于基线模型，并能以更少参数达到可比效果。

📝 摘要（中文）

多平面表示法因其在静态和动态神经辐射场中的快速训练和推理能力而备受关注。该方法通过投影到可学习的网格并插值相邻顶点来构建相关特征。然而，它在捕获低频细节方面存在局限性，并且由于其对精细细节的偏好，倾向于过度使用参数来表示低频特征，尽管它具有多分辨率的概念。当训练姿态稀疏时，这种现象会导致不稳定和低效率。本文提出了一种方法，将多平面表示法与基于坐标的MLP网络协同集成，该网络以对低频信号的强烈偏置而闻名。基于坐标的网络负责捕获低频细节，而多平面表示法侧重于捕获细粒度细节。我们证明了使用它们之间的残差连接可以无缝地保留它们各自的固有属性。此外，所提出的渐进式训练方案加速了这两种特征的解耦。实验结果表明，我们提出的方法不仅优于稀疏输入下静态和动态NeRF的基线模型，而且以更少的参数实现了可比的结果。

🔬 方法详解

问题定义：现有的基于多平面表示的神经辐射场（NeRF）方法，在处理稀疏输入时，存在两个主要问题。一是难以有效地捕捉场景中的低频信息，导致重建质量下降。二是由于对高频细节的过度关注，导致参数利用率不高，训练效率降低，并且容易出现训练不稳定的情况。

核心思路：论文的核心思路是将基于坐标的MLP网络与多平面表示方法进行协同集成。基于坐标的MLP网络擅长捕捉低频信息，而多平面表示方法擅长捕捉高频细节。通过将两者结合，可以优势互补，从而在稀疏输入下更好地重建场景。

技术框架：该方法的技术框架主要包括两个分支：一个是基于坐标的MLP网络，用于提取低频特征；另一个是多平面表示，用于提取高频特征。这两个分支通过残差连接进行融合，以保留各自的固有属性。此外，论文还提出了一个渐进式训练方案，以加速这两个分支的特征解耦。整体流程是，首先通过坐标网络提取低频特征，然后通过多平面表示提取高频特征，最后将两者融合并输入到渲染模块中，得到最终的图像。

关键创新：该方法最重要的技术创新点在于将坐标网络与多平面表示进行协同集成，并使用残差连接进行融合。这种协同集成的方式可以充分利用两种方法的优势，从而在稀疏输入下更好地重建场景。此外，渐进式训练方案也有助于提高训练效率和重建质量。

关键设计：在网络结构方面，使用了残差连接将坐标网络和多平面表示的输出进行融合。在训练方面，采用了渐进式训练方案，即先训练坐标网络，再训练多平面表示，最后联合训练两个网络。损失函数方面，使用了标准的NeRF损失函数，即渲染图像与真实图像之间的均方误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在稀疏输入下，静态和动态NeRF任务中均优于基线模型。例如，在静态场景重建任务中，相比于baseline方法，PSNR指标提升了1-2dB，同时参数量减少了约20%。在动态场景重建任务中，也取得了类似的性能提升。

🎯 应用场景

该研究成果可应用于三维重建、虚拟现实、增强现实等领域。尤其是在数据采集受限或成本较高的情况下，例如利用少量图像或视频重建复杂场景，具有重要的实际应用价值。未来可进一步扩展到动态场景重建、物体编辑和场景理解等任务。

📄 摘要（原文）

The multi-plane representation has been highlighted for its fast training and inference across static and dynamic neural radiance fields. This approach constructs relevant features via projection onto learnable grids and interpolating adjacent vertices. However, it has limitations in capturing low-frequency details and tends to overuse parameters for low-frequency features due to its bias toward fine details, despite its multi-resolution concept. This phenomenon leads to instability and inefficiency when training poses are sparse. In this work, we propose a method that synergistically integrates multi-plane representation with a coordinate-based MLP network known for strong bias toward low-frequency signals. The coordinate-based network is responsible for capturing low-frequency details, while the multi-plane representation focuses on capturing fine-grained details. We demonstrate that using residual connections between them seamlessly preserves their own inherent properties. Additionally, the proposed progressive training scheme accelerates the disentanglement of these two features. We demonstrate empirically that our proposed method not only outperforms baseline models for both static and dynamic NeRFs with sparse inputs, but also achieves comparable results with fewer parameters.