Leveraging 2D-VLM for Label-Free 3D Segmentation in Large-Scale Outdoor Scene Understanding

📄 arXiv: 2601.02029v1 📥 PDF

作者: Toshihiko Nishimura, Hirofumi Abe, Kazuhiko Murasaki, Taiga Yoshida, Ryuichi Tanida

分类: cs.CV

发布日期: 2026-01-05

备注: 19

期刊: 19th International Conference on Machine Vision Applications (MVA2025), IEICE Transactions on Information and Systems letter

DOI: 10.1587/transinf.2025DVL0006

💡 一句话要点

利用2D-VLM实现大规模室外场景中无标签3D分割

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语义分割 点云 视觉语言模型 开放词汇识别 无监督学习

📋 核心要点

  1. 现有3D语义分割方法依赖大量标注数据，且泛化能力有限，难以适应开放场景。
  2. 该方法利用2D视觉语言模型（VLM）的强大语义理解能力，通过多视角投影和聚合实现3D分割。
  3. 实验表明，该方法在无监督条件下达到与监督方法相近的精度，并支持开放词汇识别。

📝 摘要（中文）

本文提出了一种新颖的3D语义分割方法，用于大规模点云数据，该方法不需要带标注的3D训练数据或配对的RGB图像。该方法通过虚拟相机将3D点云投影到2D图像上，并借助自然语言提示引导的2D基础模型执行语义分割。通过加权投票聚合来自多个视点的预测来实现3D分割。我们的方法优于现有的免训练方法，并实现了与监督方法相当的分割精度。此外，它支持开放词汇识别，使用户能够使用任意文本查询来检测对象，从而克服了传统监督方法的局限性。

🔬 方法详解

问题定义：现有3D语义分割方法通常需要大量的3D标注数据进行训练，标注成本高昂。此外，这些方法往往只能识别预定义的类别，难以泛化到未见过的物体或场景。因此，如何在无需3D标注数据的情况下，实现大规模室外场景的3D语义分割，并支持开放词汇识别，是一个重要的挑战。

核心思路：该论文的核心思路是利用预训练的2D视觉语言模型（VLM）的强大语义理解能力，将3D点云投影到2D图像上，然后使用VLM进行2D语义分割，最后将2D分割结果反投影回3D空间，实现3D语义分割。通过多视角投影和聚合，可以提高分割的准确性和鲁棒性。

技术框架：该方法主要包含以下几个步骤：1) 使用虚拟相机从多个视角将3D点云投影到2D图像上；2) 使用自然语言提示引导的2D-VLM对每个2D图像进行语义分割；3) 将2D分割结果反投影回3D点云；4) 通过加权投票的方式，聚合来自多个视角的预测结果，得到最终的3D语义分割结果。

关键创新：该方法最重要的创新点在于利用2D-VLM的开放词汇识别能力，实现了无需3D标注数据的3D语义分割。与传统的监督学习方法相比，该方法不需要预先定义类别，可以根据用户的文本查询，灵活地识别各种物体。此外，通过多视角投影和聚合，可以有效地提高分割的准确性和鲁棒性。

关键设计：在多视角聚合阶段，采用了加权投票的方式，不同视角的权重可以根据相机参数、点云密度等因素进行调整。具体的权重计算方法未知。此外，如何选择合适的2D-VLM模型，以及如何设计有效的自然语言提示，也是影响分割效果的关键因素。论文中使用的具体模型和提示策略未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在无需3D标注数据的情况下，实现了与监督方法相近的3D语义分割精度。实验结果表明，该方法优于现有的免训练方法，并支持开放词汇识别，能够根据用户的文本查询，灵活地识别各种物体。具体的性能数据和对比基线未知。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、城市建模、环境监测等领域。通过开放词汇识别能力，可以实现更加灵活和智能的场景理解，例如，机器人可以根据用户的指令，识别并操作特定的物体，自动驾驶系统可以识别道路上的各种交通标志和障碍物。

📄 摘要（原文）

This paper presents a novel 3D semantic segmentation method for large-scale point cloud data that does not require annotated 3D training data or paired RGB images. The proposed approach projects 3D point clouds onto 2D images using virtual cameras and performs semantic segmentation via a foundation 2D model guided by natural language prompts. 3D segmentation is achieved by aggregating predictions from multiple viewpoints through weighted voting. Our method outperforms existing training-free approaches and achieves segmentation accuracy comparable to supervised methods. Moreover, it supports open-vocabulary recognition, enabling users to detect objects using arbitrary text queries, thus overcoming the limitations of traditional supervised approaches.