SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation

📄 arXiv: 2408.09144v1 📥 PDF

作者: Xiao Cao, Beibei Lin, Bo Wang, Zhiyong Huang, Robby T. Tan

分类: cs.CV

发布日期: 2024-08-17

💡 一句话要点

SSNeRF：基于增广的稀疏视角半监督神经辐射场，提升少样本视角下的NeRF重建质量。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 稀疏视角 半监督学习 数据增广 三维重建 新视角合成

📋 核心要点

  1. 稀疏视角NeRF面临挑战，因为有限的输入图像导致体积渲染的优化问题欠约束，重建质量难以保证。
  2. SSNeRF的核心思想是利用教师-学生框架，通过数据增广和半监督学习，使NeRF模型对稀疏视角下的噪声和不完整信息更加鲁棒。
  3. 实验结果表明，SSNeRF在生成新视角时，能够有效减少稀疏视角退化带来的影响，提升重建质量。

📝 摘要（中文）

本文提出了一种名为SSNeRF的稀疏视角半监督神经辐射场方法，旨在解决有限输入图像导致的体积渲染优化问题。现有方法通常依赖深度图等补充信息，但这些信息的生成往往不准确，导致NeRF生成图像时出现伪影。SSNeRF基于教师-学生框架，通过逐步增加稀疏视角退化程度来挑战NeRF模块，并提供高置信度的伪标签，使NeRF模型能够感知噪声和不完整信息，从而提高鲁棒性。SSNeRF的关键在于其稀疏视角特定的数据增广和半监督学习机制。教师NeRF生成新视角及其置信度，而学生NeRF在增广输入扰动下，从高置信度伪标签中学习。通过将学生网络的参数迁移到教师网络，教师网络在后续训练迭代中获得更高的鲁棒性。大量实验表明，SSNeRF能够生成具有更少稀疏视角退化的新视角。

🔬 方法详解

问题定义：论文旨在解决稀疏视角下神经辐射场（NeRF）重建质量差的问题。现有方法依赖额外的深度信息，但深度信息的生成本身存在误差，导致NeRF重建结果出现伪影，鲁棒性较差。

核心思路：论文的核心思路是利用半监督学习和数据增广，训练一个对稀疏视角数据更加鲁棒的NeRF模型。通过教师-学生框架，教师网络生成伪标签，学生网络在数据增广的扰动下学习这些伪标签，从而提高模型的泛化能力。

技术框架：SSNeRF采用教师-学生框架。教师NeRF负责生成新视角图像以及对应置信度，学生NeRF则在经过数据增广的稀疏视角图像上进行训练，学习教师NeRF生成的高置信度伪标签。学生NeRF的参数会定期迁移到教师NeRF，以提升教师网络的鲁棒性。整个训练过程迭代进行，逐步提升NeRF模型在稀疏视角下的重建质量。

关键创新：SSNeRF的关键创新在于其稀疏视角特定的数据增广策略和半监督学习机制。数据增广策略包括：1) 对体积渲染权重注入噪声；2) 扰动脆弱层的特征图；3) 模拟稀疏视角模糊。这些增广策略迫使学生NeRF识别退化并产生更清晰的渲染视图。半监督学习机制则利用教师网络生成的高置信度伪标签来指导学生网络的学习，从而提高模型的泛化能力。

关键设计：论文设计了三种稀疏视角特定的数据增广方法。此外，论文还使用了置信度评分来筛选教师网络生成的伪标签，只选择高置信度的伪标签用于学生网络的训练。具体的损失函数包括渲染损失和正则化损失，用于约束NeRF模型的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量实验验证了SSNeRF的有效性。实验结果表明，SSNeRF在稀疏视角下能够生成更高质量的新视角图像，减少伪影，提高重建精度。与现有方法相比，SSNeRF在PSNR、SSIM等指标上均有显著提升，证明了其在稀疏视角NeRF重建方面的优势。

🎯 应用场景

SSNeRF可应用于三维重建、虚拟现实、增强现实等领域，尤其是在输入图像稀疏或受限的情况下，例如在机器人导航、自动驾驶等场景中，可以利用少量图像重建出高质量的三维场景，为后续的任务提供支持。该方法还可以应用于医学影像重建，例如在CT扫描剂量受限的情况下，利用少量扫描数据重建出清晰的三维图像。

📄 摘要（原文）

Sparse view NeRF is challenging because limited input images lead to an under constrained optimization problem for volume rendering. Existing methods address this issue by relying on supplementary information, such as depth maps. However, generating this supplementary information accurately remains problematic and often leads to NeRF producing images with undesired artifacts. To address these artifacts and enhance robustness, we propose SSNeRF, a sparse view semi supervised NeRF method based on a teacher student framework. Our key idea is to challenge the NeRF module with progressively severe sparse view degradation while providing high confidence pseudo labels. This approach helps the NeRF model become aware of noise and incomplete information associated with sparse views, thus improving its robustness. The novelty of SSNeRF lies in its sparse view specific augmentations and semi supervised learning mechanism. In this approach, the teacher NeRF generates novel views along with confidence scores, while the student NeRF, perturbed by the augmented input, learns from the high confidence pseudo labels. Our sparse view degradation augmentation progressively injects noise into volume rendering weights, perturbs feature maps in vulnerable layers, and simulates sparse view blurriness. These augmentation strategies force the student NeRF to recognize degradation and produce clearer rendered views. By transferring the student's parameters to the teacher, the teacher gains increased robustness in subsequent training iterations. Extensive experiments demonstrate the effectiveness of our SSNeRF in generating novel views with less sparse view degradation. We will release code upon acceptance.