Lang3DSeg: Annotation-Free Open-Vocabulary 3D Segmentation with Point Transformers

📄 arXiv: 2610.00855v1 📥 PDF

作者: Cigdem Kokenoz, Amir Salarpour, Alkim Domeke, Christopher Salas, Pedram MohajerAnsari, Long Cheng, Mert D. Pesé, Bing Li

分类: cs.CV, cs.RO

发布日期: 2026-10-01

备注: 9 pages, 3 figures, 4 tables. Submitted to IEEE ICRA 2027

💡 一句话要点

提出Lang3DSeg以解决无注释开放词汇3D分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D分割 无注释学习 开放词汇 点变换器 深度学习 自动驾驶 LiDAR

📋 核心要点

  1. 现有的LiDAR分割方法依赖于封闭的分类法和人工注释，导致高成本和灵活性不足。
  2. Lang3DSeg通过将2D视觉-语言模型的输出投影到LiDAR上，采用点变换器实现无注释的开放词汇分割。
  3. 在nuScenes和SemanticKITTI数据集上，Lang3DSeg分别达到了52.8%和41.4%的mIoU，超越了现有无注释方法的性能。

📝 摘要（中文）

准确的3D语义感知对于安全的自主导航至关重要。然而，监督式LiDAR分割依赖于封闭的分类法和逐点的人工注释成本。开放词汇方法通过将2D视觉-语言模型的输出投影到LiDAR上并将其提炼为3D网络，避免了这一成本。现有方法几乎完全依赖于基于体素的稀疏卷积，而点变换器迄今为止仅限于室内环境。我们提出的Lang3DSeg建立了点变换器作为户外3D LiDAR的无注释开放词汇分割的主干，并从零开始训练，无需几何预训练。该训练范式需要解决2D到3D标签投影中的固有噪声，特别是简单投影常常遭遇深度模糊的问题。Lang3DSeg在nuScenes验证集上实现了52.8%的mIoU，在SemanticKITTI上实现了41.4%，在这两个基准上均为已发布的无注释方法中最高。

🔬 方法详解

问题定义：本论文旨在解决现有LiDAR分割方法在开放词汇场景下的局限性，尤其是依赖人工注释和封闭分类法的问题。现有方法在处理深度模糊和标签投影噪声时表现不佳，影响了分割精度。

核心思路：Lang3DSeg的核心思路是利用点变换器作为主干网络，直接从2D视觉-语言模型的输出中进行无注释的3D分割。通过改进标签投影策略，减少深度模糊带来的错误标注。

技术框架：该方法的整体架构包括数据预处理、标签投影、点变换器网络和后处理模块。数据预处理阶段负责将2D图像信息转换为3D点云，标签投影阶段则将语义标签映射到LiDAR点云上。点变换器网络负责特征提取和分割，后处理模块则用于修正投影错误。

关键创新：Lang3DSeg的主要创新在于其无注释的训练方式和深度模糊修正策略。与传统方法不同，该方法不依赖几何预训练，且通过显式的类优先规则和深度分布截断来直接修正投影错误。

关键设计：在网络设计上，Lang3DSeg采用了点变换器架构，利用自注意力机制增强特征表达能力。损失函数设计上，结合了语义分割损失和深度修正损失，以提高分割精度和鲁棒性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

Lang3DSeg在nuScenes验证集上取得了52.8%的mIoU，在SemanticKITTI上达到了41.4%的mIoU，均为当前已发布的无注释方法中的最高水平。这一成果展示了其在实时推理和高效分割方面的显著优势。

🎯 应用场景

Lang3DSeg的研究成果在自动驾驶、机器人导航和智能城市等领域具有广泛的应用潜力。通过实现无注释的3D分割，该方法能够降低人工成本，提高系统的灵活性和适应性，推动相关技术的进一步发展。

📄 摘要（原文）

Accurate 3D semantic perception is critical for safe autonomous navigation. However, supervised LiDAR segmentation remains tied to closed taxonomies and to the cost of point-wise manual annotation. Open-vocabulary methods avoid that cost by projecting the output of 2D vision-language models onto LiDAR and distilling it into a 3D network. These methods rely almost exclusively on voxel-based sparse convolutions, and point transformers have so far been limited to indoor environments, where 3D data is dense and bounded. We present Lang3DSeg, which establishes a point transformer as the backbone for annotation-free open-vocabulary segmentation of outdoor 3D LiDAR, and is trained from scratch without geometric pre-training. This training paradigm necessitates addressing the inherent noise in 2D-to-3D label projections; specifically, naive projection often suffers from depth ambiguity, where points behind an object are erroneously assigned its semantic label. We therefore composite masks using an explicit class-priority rule and truncate each projected instance at the first gap in its depth distribution, correcting the projection error directly rather than averaging it over registered sequences. Lang3DSeg achieves 52.8% mIoU on nuScenes validation and 41.4% on SemanticKITTI, the highest among published annotation-free methods on both benchmarks. Every 3D semantic segmentation is on a single LiDAR sweep, and inference operates in real-time without running vision-language models.