Training-Free Open-Vocabulary 3D Point-Cloud Segmentation on the Generalized Few-Shot Benchmark
作者: Silas kwabla Gah, Ebenezer Owusu
分类: cs.CV
发布日期: 2026-07-20
💡 一句话要点
提出无训练的开放词汇3D点云分割方法以解决少样本问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D点云分割 开放词汇 少样本学习 视觉-语言模型 交叉视图一致性 无监督学习 机器人视觉
📋 核心要点
- 现有方法在处理新类时依赖大量监督信息，限制了其在开放词汇场景中的应用。
- 本文提出一种无训练的分割方法，通过结合冻结的3D视觉-语言模型与可提示分割器，利用视图一致性进行新类识别。
- 在ScanNet200基准上，该方法在新类mIoU上提升了2.6，同时保持基础准确率在0.5以内，显示出良好的性能。
📝 摘要（中文）
一般化少样本3D点云分割（GFS-PCS）要求模型将场景分割为训练时见过的多个基础类和一组新类。现有方法通过结合密集但嘈杂的3D视觉-语言先验与少样本支持来实现新类分割，但需要基础3D标签、每个回合的训练和支持注释。本文探讨在没有这些条件下的可能性：不进行训练、不使用3D标签，甚至不依赖少样本支持。我们将冻结的3D视觉-语言模型（RegionPLC）与冻结的可提示概念分割器（SAM3）结合，通过交叉视图一致性进行调和，只有当足够多的视图一致时，点才被视为新类。在ScanNet200 GFS-PCS基准上，该完全无训练的开放词汇管道在保持基础准确率的同时，提升了新类mIoU +2.6，恢复了训练状态下的三分之一新类差距。进一步显示，注入少样本支持并未提升效果，反而通过分类器降低了性能，因此该方法完全不需要支持。
🔬 方法详解
问题定义：本文旨在解决在没有训练、3D标签和少样本支持的情况下进行开放词汇3D点云分割的问题。现有方法依赖于大量监督信息，限制了其灵活性和适用性。
核心思路：论文提出通过结合冻结的3D视觉-语言模型（RegionPLC）与可提示的概念分割器（SAM3），利用新类名称进行提示，并通过交叉视图一致性来识别新类。该设计旨在减少对训练和标注的依赖，提高模型的通用性。
技术框架：整体架构包括两个主要模块：首先是冻结的3D视觉-语言模型作为密集先验，其次是可提示的分割器。通过对不同视角的点云进行一致性检查，只有当多个视角一致时，点才被标记为新类。
关键创新：最重要的创新在于完全无训练的开放词汇管道，显著减少了对传统监督学习的依赖。这一方法在新类识别上表现出色，且与现有方法相比，减少了对少样本支持的需求。
关键设计：在技术细节上，采用了交叉视图一致性作为主要的判断标准，确保了新类的识别准确性。模型的冻结设计使得在没有额外训练的情况下，依然能够有效进行分割。
🖼️ 关键图片
📊 实验亮点
在ScanNet200基准上，提出的方法在新类mIoU上提升了2.6，基础准确率保持在0.5以内，显示出良好的性能。在更具挑战性的ScanNet++基准上，新类mIoU几乎翻倍，提升幅度达到15.7，显示出该方法的有效性和鲁棒性。
🎯 应用场景
该研究在机器人视觉、自动驾驶、增强现实等领域具有广泛的应用潜力。通过实现无监督的3D点云分割，能够在动态和复杂环境中快速适应新类，提高系统的灵活性和智能化水平。未来，该方法可能推动更多开放词汇的视觉任务的发展。
📄 摘要（原文）
Generalized few-shot 3D point-cloud segmentation (GFS-PCS) asks a model to segment a scene into many base classes seen at training time and a set of novel classes. The state of the art reaches novel classes by reconciling a dense but noisy 3D vision-language prior with the few-shot support, but it pays for this with base 3D labels, per-episode training, and the support annotations themselves. We ask how far the same reconciliation can go with none of these: no training, no 3D labels, and not even the few-shot support. We pair a frozen 3D vision-language model (RegionPLC) as a dense prior with a frozen promptable concept segmenter (SAM3), prompted by the bare novel class names and lifted from posed RGB views, and reconcile the two by cross-view consistency: a point becomes novel only when enough of the views that see it agree. On the ScanNet200 GFS-PCS benchmark this fully training-free, open-vocabulary pipeline improves novel mIoU by +2.6 over the training-free dense prior while holding base accuracy within 0.5, and recovers a third (33%) of the novel-class gap to the trained state of the art that uses far more supervision. We further show that injecting the few-shot support into the pipeline, as a fusion gate and as a prototypical dense classifier, adds nothing over consistency alone and in fact degrades it through the classifier, which is why the method needs no support at all. On the harder ScanNet++ benchmark, where the dense prior is far weaker on novel classes, the same pipeline nearly doubles novel mIoU (+15.7, from 16.2 to 31.9) at a 1.7 base cost, lifting the harmonic mean from 21.5 to 31.1