Informative Rays Selection for Few-Shot Neural Radiance Fields

📄 arXiv: 2312.17561v1 📥 PDF

作者: Marco Orsingher, Anthony Dell'Eva, Paolo Zani, Paolo Medici, Massimo Bertozzi

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-12-29

备注: To appear at VISAPP 2024

💡 一句话要点

KeyNeRF：通过选择关键信息光线，实现NeRF的少样本学习

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 少样本学习 三维重建 信息光线选择

📋 核心要点

  1. NeRF训练需要大量视图和长时间优化，限制了其在资源受限场景的应用。
  2. KeyNeRF通过选择包含关键信息的光线进行训练，减少了对大量视图的依赖。
  3. 实验表明，KeyNeRF在少样本场景下优于现有方法，且易于集成到现有NeRF代码库。

📝 摘要（中文）

神经辐射场（NeRF）是基于图像的三维重建的强大方法，但其对每个场景的耗时优化限制了其在资源受限环境中的实际应用。现有方法通过减少输入视图的数量，并使用复杂的损失或来自其他模态的额外输入来正则化学习到的体积表示，从而解决这个问题。本文提出了KeyNeRF，一种简单而有效的方法，通过关注关键信息光线，在少样本场景中训练NeRF。首先，通过视图选择算法在相机层面选择这些光线，该算法在保证场景覆盖的同时促进基线多样性，然后在像素层面，通过从基于局部图像熵的概率分布中采样来选择光线。我们的方法优于最先进的方法，同时只需要对现有的NeRF代码库进行最小的更改。

🔬 方法详解

问题定义：NeRF在少样本学习场景下，由于缺乏足够的视角信息，重建质量会显著下降。现有方法通常需要复杂的正则化损失或额外的模态输入来弥补信息不足，增加了计算负担和系统复杂度。

核心思路：KeyNeRF的核心在于并非所有光线都包含同等重要的信息。通过选择包含关键信息的光线进行训练，可以更有效地利用有限的视角信息，从而提高少样本学习场景下的NeRF重建质量。这种选择性训练的思路可以减少冗余计算，加速收敛。

技术框架：KeyNeRF包含两个主要阶段：相机层面的视图选择和像素层面的光线采样。首先，使用视图选择算法选择一组具有代表性的相机视角，保证场景覆盖和基线多样性。然后，对于每个选定的视角，基于局部图像熵的概率分布对像素进行采样，选择信息量大的光线。这些选定的光线用于NeRF的训练。

关键创新：KeyNeRF的关键创新在于提出了基于信息量的光线选择策略。与随机采样或均匀采样不同，KeyNeRF优先选择包含更多场景几何和外观信息的光线，从而更有效地利用有限的视角信息。这种选择策略能够显著提高少样本学习场景下的NeRF重建质量。

关键设计：视图选择算法旨在最大化基线多样性并保证场景覆盖，具体实现细节未知。像素层面的光线采样基于局部图像熵，熵越高表示该区域包含的信息越多，被选中的概率也越高。损失函数和网络结构沿用标准的NeRF设置，无需额外修改。

📊 实验亮点

KeyNeRF在少样本NeRF重建任务上取得了显著的性能提升，优于现有方法。具体性能数据未知，但论文强调KeyNeRF只需要对现有NeRF代码库进行最小的更改，易于集成和部署。该方法在保证重建质量的同时，降低了计算成本。

🎯 应用场景

KeyNeRF在资源受限的场景下具有广泛的应用前景，例如移动机器人、增强现实和虚拟现实等。它可以用于快速构建三维场景模型，而无需大量的图像数据和计算资源。此外，KeyNeRF还可以应用于三维物体识别、场景理解和导航等任务。

📄 摘要（原文）

Neural Radiance Fields (NeRF) have recently emerged as a powerful method for image-based 3D reconstruction, but the lengthy per-scene optimization limits their practical usage, especially in resource-constrained settings. Existing approaches solve this issue by reducing the number of input views and regularizing the learned volumetric representation with either complex losses or additional inputs from other modalities. In this paper, we present KeyNeRF, a simple yet effective method for training NeRF in few-shot scenarios by focusing on key informative rays. Such rays are first selected at camera level by a view selection algorithm that promotes baseline diversity while guaranteeing scene coverage, then at pixel level by sampling from a probability distribution based on local image entropy. Our approach performs favorably against state-of-the-art methods, while requiring minimal changes to existing NeRF codebases.