GUMBEL-NERF: Representing Unseen Objects as Part-Compositional Neural Radiance Fields

📄 arXiv: 2410.20306v1 📥 PDF

作者: Yusuke Sekikawa, Chingwei Hsu, Satoshi Ikehata, Rei Kawakami, Ikuro Sato

分类: cs.CV

发布日期: 2024-10-27

备注: 7 pages. Presented at ICIP2024

💡 一句话要点

Gumbel-NeRF：提出一种基于部件组合的神经辐射场，用于合成未见物体的 novel views。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 Novel View合成 混合专家模型 Gumbel-Softmax 后见之明学习

📋 核心要点

  1. MoE NeRF在处理大规模场景时表现良好，但在单/少样本未见物体novel view合成中，专家边界附近会出现质量下降。
  2. Gumbel-NeRF采用后见之明的专家选择机制，确保密度场在专家边界附近的连续性，从而提升渲染质量。
  3. 实验表明，Gumbel-NeRF在SRN cars数据集上，相比于基线方法，在图像质量指标上取得了显著提升。

📝 摘要（中文）

本文提出Gumbel-NeRF，一种混合专家(MoE)神经辐射场(NeRF)模型，具有后见之明的专家选择机制，用于合成未见物体的novel views。先前的研究表明，MoE结构为由许多对象组成的大规模场景提供了高质量的表示。然而，我们观察到，当应用于从单张/少量输入合成未见物体的novel views时，这种MoE NeRF模型通常在专家边界附近产生低质量的表示。我们发现，这种劣化主要是由前瞻性专家选择机制引起的，该机制可能在专家边界附近的对象形状中留下不自然的间断。Gumbel-NeRF采用后见之明的专家选择机制，即使在专家边界附近也能保证密度场的连续性。使用SRN cars数据集的实验证明了Gumbel-NeRF在各种图像质量指标方面优于基线。

🔬 方法详解

问题定义：论文旨在解决单张或少量图像下，未见过的物体的novel view合成问题。现有基于MoE的NeRF方法在专家边界处容易产生不连续性，导致渲染质量下降，尤其是在物体形状的边缘部分。

核心思路：论文的核心在于引入“后见之明”的专家选择机制。与传统的前瞻性选择不同，后见之明选择考虑了全局信息，确保在专家边界处的密度场是连续的，从而避免了不自然的形状突变。

技术框架：Gumbel-NeRF仍然基于MoE的NeRF架构，但关键在于专家选择模块的改变。整体流程包括：输入单张或少量图像，通过NeRF网络预测密度和颜色，然后使用Gumbel-Softmax技巧进行专家选择，最后将各个专家的输出进行加权融合，得到最终的渲染结果。

关键创新：最关键的创新点在于后见之明的专家选择机制。传统方法是基于当前位置的信息选择专家，而Gumbel-NeRF则是在考虑了周围位置的信息后，再进行专家选择，从而保证了密度场的连续性。这种后见之明选择通过优化一个全局损失函数来实现，该损失函数鼓励相邻位置选择相似的专家。

关键设计：Gumbel-Softmax被用于实现可微的专家选择。损失函数包括重建损失（L1或L2损失）和一个正则化项，用于鼓励专家选择的平滑性。正则化项通常基于相邻采样点选择相同专家的概率。具体的网络结构和超参数设置在论文中有详细描述，例如专家数量、网络层数、学习率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Gumbel-NeRF在SRN cars数据集上显著优于基线方法。具体而言，在PSNR、SSIM和LPIPS等指标上均取得了明显的提升，尤其是在视角变化较大的情况下。这验证了后见之明专家选择机制的有效性，能够更好地处理专家边界处的不连续性问题。

🎯 应用场景

Gumbel-NeRF在机器人视觉、自动驾驶、增强现实等领域具有广泛的应用前景。例如，机器人可以利用少量图像快速学习新物体的三维模型，从而更好地进行物体识别和操作。在自动驾驶中，可以用于合成未见过的车辆或行人的图像，提高感知系统的鲁棒性。在AR/VR中，可以用于快速生成虚拟物体的三维模型，提升用户体验。

📄 摘要（原文）

We propose Gumbel-NeRF, a mixture-of-expert (MoE) neural radiance fields (NeRF) model with a hindsight expert selection mechanism for synthesizing novel views of unseen objects. Previous studies have shown that the MoE structure provides high-quality representations of a given large-scale scene consisting of many objects. However, we observe that such a MoE NeRF model often produces low-quality representations in the vicinity of experts' boundaries when applied to the task of novel view synthesis of an unseen object from one/few-shot input. We find that this deterioration is primarily caused by the foresight expert selection mechanism, which may leave an unnatural discontinuity in the object shape near the experts' boundaries. Gumbel-NeRF adopts a hindsight expert selection mechanism, which guarantees continuity in the density field even near the experts' boundaries. Experiments using the SRN cars dataset demonstrate the superiority of Gumbel-NeRF over the baselines in terms of various image quality metrics.