Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis

📄 arXiv: 2312.02255v3 📥 PDF

作者: Felix Tristram, Stefano Gasperini, Nassir Navab, Federico Tombari

分类: cs.CV, cs.GR, cs.LG

发布日期: 2023-12-04 (更新: 2024-08-28)

备注: Code will be released upon acceptance

💡 一句话要点

Re-Nerfing：通过新视角合成改进新视角合成，提升稀疏视角下的NeRF性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 神经渲染 NeRF 高斯溅射 稀疏视角 三维重建 多视角约束 自监督学习

📋 核心要点

  1. 现有NeRF等神经渲染方法在稀疏视角下难以准确重建3D几何，导致新视角合成质量下降。
  2. Re-Nerfing通过已训练模型生成新视角图像，扩充训练数据，增加多视角约束，优化模型。
  3. 实验表明，Re-Nerfing在稀疏视角下显著提升了NeRF和高斯溅射的性能，且无需额外先验知识。

📝 摘要（中文）

本文提出Re-Nerfing，一种简单通用的附加方法，利用新视角合成本身来解决稀疏视角下神经渲染和重建技术（如NeRFs或高斯溅射）的性能下降问题。这些方法在少量图像下表现不佳，因为无法正确三角化潜在的3D几何体并收敛到非最优解，导致场景中未充分观察到的区域出现漂浮物或模糊渲染。Re-Nerfing使用已训练的新视角合成方法，渲染现有视角之间的新视角，并扩充训练数据以优化第二个模型。这引入了额外的多视角约束，使第二个模型能够收敛到更好的解决方案。在mip-NeRF 360和LLFF数据集的稀疏视角设置中，Re-Nerfing在多个基于NeRF和高斯溅射的pipeline上取得了显著改进。值得注意的是，Re-Nerfing不需要先验知识或额外的监督信号，使其成为一种灵活实用的附加组件。

🔬 方法详解

问题定义：现有神经渲染方法，如NeRF和高斯溅射，在拥有大量视角图像时表现出色，但在稀疏视角下，由于缺乏足够的多视角约束，难以准确重建3D几何，导致新视角合成质量下降，出现伪影和模糊等问题。这些方法容易陷入局部最优解，无法充分利用场景信息。

核心思路：Re-Nerfing的核心思想是“以其人之道，还治其人之身”，即利用已有的新视角合成模型生成更多的新视角图像，并将这些图像作为额外的训练数据，从而增加多视角约束，帮助模型更好地学习场景的3D结构。通过迭代优化，逐步提升新视角合成的质量。

技术框架：Re-Nerfing的整体流程包括以下几个步骤：1. 使用原始的稀疏视角图像训练一个初始的新视角合成模型（可以是NeRF或高斯溅射）。2. 使用训练好的模型，在原始视角之间渲染生成一系列新的视角图像。3. 将生成的新视角图像与原始图像合并，作为新的训练数据集。4. 使用新的数据集训练第二个新视角合成模型。这个过程可以迭代多次，每次都使用前一次训练的模型生成新的视角图像。

关键创新：Re-Nerfing的关键创新在于它利用新视角合成本身来改进新视角合成，形成一个自增强的训练过程。与需要额外先验知识或监督信号的方法不同，Re-Nerfing完全依赖于数据驱动，具有很强的通用性和灵活性。它通过增加多视角约束，有效地解决了稀疏视角下的3D重建问题。

关键设计：Re-Nerfing的关键设计在于新视角的生成策略。论文中并没有明确指定如何选择新视角的位置，这使得Re-Nerfing具有一定的灵活性。一种可能的策略是在原始视角之间均匀地插入新的视角。此外，损失函数的选择也很重要，通常可以使用标准的图像重建损失，如MSE或LPIPS。模型的具体结构取决于所使用的基础新视角合成方法（如NeRF或高斯溅射），Re-Nerfing作为一个附加组件，可以与多种不同的模型结合使用。

📊 实验亮点

实验结果表明，Re-Nerfing在mip-NeRF 360和LLFF数据集的稀疏视角设置下，显著提升了新视角合成的性能。例如，在某些场景下，Re-Nerfing可以将PSNR指标提升2-3dB，显著优于原始的NeRF和高斯溅射方法。此外，Re-Nerfing的迭代优化过程能够逐步减少伪影和模糊，生成更清晰、更真实的图像。

🎯 应用场景

Re-Nerfing可应用于各种需要从少量图像中进行高质量新视角合成的场景，例如：快速3D重建、虚拟现实/增强现实、机器人导航、以及文物数字化等。该方法尤其适用于数据采集受限或成本较高的场景，能够显著提升新视角合成的质量和真实感，具有广泛的应用前景。

📄 摘要（原文）

Recent neural rendering and reconstruction techniques, such as NeRFs or Gaussian Splatting, have shown remarkable novel view synthesis capabilities but require hundreds of images of the scene from diverse viewpoints to render high-quality novel views. With fewer images available, these methods start to fail since they can no longer correctly triangulate the underlying 3D geometry and converge to a non-optimal solution. These failures can manifest as floaters or blurry renderings in sparsely observed areas of the scene. In this paper, we propose Re-Nerfing, a simple and general add-on approach that leverages novel view synthesis itself to tackle this problem. Using an already trained NVS method, we render novel views between existing ones and augment the training data to optimize a second model. This introduces additional multi-view constraints and allows the second model to converge to a better solution. With Re-Nerfing we achieve significant improvements upon multiple pipelines based on NeRF and Gaussian-Splatting in sparse view settings of the mip-NeRF 360 and LLFF datasets. Notably, Re-Nerfing does not require prior knowledge or extra supervision signals, making it a flexible and practical add-on.