SPNeRF: Open Vocabulary 3D Neural Scene Segmentation with Superpoints

📄 arXiv: 2503.15712v1 📥 PDF

作者: Weiwen Hu, Niccolò Parodi, Marcus Zepp, Ingo Feldmann, Oliver Schreer, Peter Eisert

分类: cs.CV

发布日期: 2025-03-19

备注: In Proceedings of the 20th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (2025)

DOI: 10.5220/0013255100003912

💡 一句话要点

SPNeRF：利用超点实现开放词汇3D神经场景分割

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景分割 神经辐射场 开放词汇 几何基元 超点 CLIP 零样本学习

📋 核心要点

  1. 现有方法在将CLIP等视觉-语言模型应用于3D场景分割时，面临几何信息不足和依赖额外分割模型的挑战。
  2. SPNeRF的核心思想是将3D场景的几何基元融入NeRF训练，生成基于基元的CLIP特征，从而避免点特征的歧义性。
  3. SPNeRF在3D分割任务上取得了显著改进，无需额外的分割模型，并超越了原有的LERF方法。

📝 摘要（中文）

开放词汇分割技术，受益于像CLIP这样的大型视觉-语言模型，已经将2D分割能力扩展到数据集预定义的固定类别之外，实现了跨多样化场景的零样本理解。将这些能力扩展到3D分割带来了挑战，因为CLIP的基于图像的嵌入通常缺乏3D场景分割所需的几何细节。最近的方法倾向于通过引入额外的分割模型或用在分割数据上训练的变体替换CLIP来解决这个问题，这导致了冗余或损失了CLIP的通用语言能力。为了克服这个限制，我们引入了SPNeRF，一种基于NeRF的零样本3D分割方法，它利用了几何先验。我们将从3D场景导出的几何基元集成到NeRF训练中，以产生基于基元的CLIP特征，避免了点特征的模糊性。此外，我们提出了一种基于基元的融合机制，并增强了亲和力分数。在不依赖额外分割模型的情况下，我们的方法进一步探索了CLIP在3D分割方面的能力，并实现了相对于原始LERF的显著改进。

🔬 方法详解

问题定义：现有方法在将CLIP等视觉-语言模型应用于3D场景分割时，面临CLIP的图像嵌入缺乏足够的几何信息，导致分割精度不高的问题。同时，一些方法为了弥补几何信息的不足，引入了额外的分割模型或对CLIP进行特定任务的训练，这增加了模型的复杂性，并且可能损失CLIP原有的通用语言能力。因此，如何在不引入额外模型或牺牲CLIP通用性的前提下，提升3D场景的开放词汇分割性能是一个关键问题。

核心思路：SPNeRF的核心思路是利用3D场景的几何先验知识，通过将场景分解为几何基元（例如超点），并将这些基元与CLIP的视觉-语言模型相结合，从而实现更精确的3D场景分割。这种方法避免了直接使用点云特征进行分割，因为点云特征通常比较嘈杂且缺乏语义信息。通过将点云聚合成具有一定几何意义的基元，可以更好地利用CLIP的语义理解能力。

技术框架：SPNeRF的整体框架包括以下几个主要阶段：1) 使用超点分割算法将3D场景点云分割成多个几何基元（超点）。2) 将这些超点集成到NeRF训练过程中，使得NeRF能够学习到每个超点的几何和外观信息。3) 利用训练好的NeRF生成每个超点的CLIP特征。4) 提出一种基于基元的融合机制，并增强了亲和力分数，用于将具有相似语义的超点进行合并，最终得到分割结果。

关键创新：SPNeRF的关键创新在于：1) 将几何基元（超点）的概念引入到基于NeRF的3D场景分割中，从而更好地利用了场景的几何信息。2) 提出了一种新的基于基元的融合机制，该机制利用亲和力分数来指导超点的合并，从而提高了分割的精度和一致性。3) 该方法不需要额外的分割模型或对CLIP进行特定任务的训练，从而保持了CLIP的通用语言能力。

关键设计：在超点分割阶段，使用了SLIC算法进行超点分割，并调整了超点的尺寸和数量以适应不同的场景。在NeRF训练阶段，使用了标准的NeRF损失函数，并添加了一个正则化项，以鼓励NeRF学习到每个超点的清晰几何表示。在基于基元的融合机制中，使用了余弦相似度来计算超点之间的亲和力分数，并设置了一个阈值来控制超点的合并。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPNeRF在3D场景分割任务上取得了显著的性能提升。实验结果表明，SPNeRF在不依赖额外分割模型的情况下，超越了原有的LERF方法。具体而言，SPNeRF在多个数据集上实现了更高的分割精度和更好的分割一致性。这些结果验证了SPNeRF利用几何先验进行3D场景分割的有效性。

🎯 应用场景

SPNeRF在机器人导航、自动驾驶、场景理解、虚拟现实和增强现实等领域具有广泛的应用前景。例如，机器人可以利用SPNeRF理解周围环境，识别物体并进行交互。自动驾驶系统可以利用SPNeRF进行场景分割，从而更好地理解道路结构和交通参与者。该技术还可以用于创建更逼真的虚拟现实和增强现实体验。

📄 摘要（原文）

Open-vocabulary segmentation, powered by large visual-language models like CLIP, has expanded 2D segmentation capabilities beyond fixed classes predefined by the dataset, enabling zero-shot understanding across diverse scenes. Extending these capabilities to 3D segmentation introduces challenges, as CLIP's image-based embeddings often lack the geometric detail necessary for 3D scene segmentation. Recent methods tend to address this by introducing additional segmentation models or replacing CLIP with variations trained on segmentation data, which lead to redundancy or loss on CLIP's general language capabilities. To overcome this limitation, we introduce SPNeRF, a NeRF based zero-shot 3D segmentation approach that leverages geometric priors. We integrate geometric primitives derived from the 3D scene into NeRF training to produce primitive-wise CLIP features, avoiding the ambiguity of point-wise features. Additionally, we propose a primitive-based merging mechanism enhanced with affinity scores. Without relying on additional segmentation models, our method further explores CLIP's capability for 3D segmentation and achieves notable improvements over original LERF.