Open-NeRF: Towards Open Vocabulary NeRF Decomposition

📄 arXiv: 2310.16383v1 📥 PDF

作者: Hao Zhang, Fang Li, Narendra Ahuja

分类: cs.CV

发布日期: 2023-10-25

备注: Accepted by WACV 2024

💡 一句话要点

提出Open-NeRF以解决开放词汇NeRF分解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经辐射场 开放词汇 3D分解 对象识别 深度学习 计算机视觉 机器人技术

📋 核心要点

  1. 现有的NeRF分解方法在开放词汇查询的灵活性与3D分割的准确性之间存在权衡，难以满足实际应用需求。
  2. 本文提出的Open-NeRF通过利用大型分割模型和集成蒸馏范式，实现了开放词汇查询的灵活性与3D分割的高准确性。
  3. 实验结果显示，Open-NeRF在开放词汇场景中表现优于现有方法，提供了更好的对象识别和分割效果。

📝 摘要（中文）

本文针对神经辐射场（NeRF）中开放词汇对象的分解挑战进行了研究，这是3D重建和视图合成中关键的任务。现有的NeRF分解技术在处理开放词汇查询的灵活性与3D分割的准确性之间存在权衡。我们提出了开放词汇嵌入神经辐射场（Open-NeRF），利用大型现成的分割模型（如Segment Anything Model，SAM），并引入集成与蒸馏的范式，通过层次嵌入实现开放词汇查询的灵活性和3D分割的准确性。Open-NeRF首先利用大型基础模型从不同视角生成层次化的2D掩码提议，然后通过跟踪方法对这些提议进行对齐，并在3D空间中集成，最终蒸馏为3D场。这一过程确保了在不同视角下对对象的一致识别和粒度，即使在遮挡和特征模糊的挑战场景中也能有效工作。实验结果表明，Open-NeRF在开放词汇场景中优于现有的最先进方法，如LERF和FFD。

🔬 方法详解

问题定义：本文旨在解决神经辐射场（NeRF）中开放词汇对象的分解问题。现有方法在处理开放词汇查询时，往往无法兼顾灵活性和3D分割的准确性，导致在复杂场景中的表现不佳。

核心思路：Open-NeRF的核心思路是结合大型现成的分割模型（如SAM）与集成蒸馏的范式，通过生成层次化的2D掩码提议并在3D空间中进行整合，以实现高效的对象分解和识别。

技术框架：Open-NeRF的整体架构包括多个阶段：首先，利用基础模型生成不同视角的2D掩码提议；其次，通过跟踪方法对这些提议进行对齐；最后，在3D空间中集成并蒸馏为最终的3D场。

关键创新：Open-NeRF的主要创新在于引入了集成与蒸馏的范式，使得在开放词汇查询的灵活性与3D分割的准确性之间实现了良好的平衡，这与现有方法的单一处理方式形成了显著区别。

关键设计：在设计中，Open-NeRF采用了层次化的嵌入结构，结合了多视角的掩码提议生成和跟踪对齐技术，确保了在复杂场景下的对象识别一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Open-NeRF在开放词汇场景中显著优于现有的最先进方法，如LERF和FFD，具体性能提升幅度达到XX%（具体数据待补充），展示了其在复杂场景下的有效性和可靠性。

🎯 应用场景

Open-NeRF的研究成果在机器人技术和视觉语言交互等领域具有广泛的应用潜力。通过实现开放词汇的对象识别与分解，能够推动3D场景理解和交互的智能化，提升人机协作的效率与灵活性。

📄 摘要（原文）

In this paper, we address the challenge of decomposing Neural Radiance Fields (NeRF) into objects from an open vocabulary, a critical task for object manipulation in 3D reconstruction and view synthesis. Current techniques for NeRF decomposition involve a trade-off between the flexibility of processing open-vocabulary queries and the accuracy of 3D segmentation. We present, Open-vocabulary Embedded Neural Radiance Fields (Open-NeRF), that leverage large-scale, off-the-shelf, segmentation models like the Segment Anything Model (SAM) and introduce an integrate-and-distill paradigm with hierarchical embeddings to achieve both the flexibility of open-vocabulary querying and 3D segmentation accuracy. Open-NeRF first utilizes large-scale foundation models to generate hierarchical 2D mask proposals from varying viewpoints. These proposals are then aligned via tracking approaches and integrated within the 3D space and subsequently distilled into the 3D field. This process ensures consistent recognition and granularity of objects from different viewpoints, even in challenging scenarios involving occlusion and indistinct features. Our experimental results show that the proposed Open-NeRF outperforms state-of-the-art methods such as LERF \cite{lerf} and FFD \cite{ffd} in open-vocabulary scenarios. Open-NeRF offers a promising solution to NeRF decomposition, guided by open-vocabulary queries, enabling novel applications in robotics and vision-language interaction in open-world 3D scenes.