LeAP: Consistent multi-domain 3D labeling using Foundation Models

📄 arXiv: 2502.03901v1 📥 PDF

作者: Simon Gebraad, Andras Palffy, Holger Caesar

分类: cs.CV, cs.RO

发布日期: 2025-02-06

备注: 9 pages, 4 figures. ICRA25 preprint

💡 一句话要点

LeAP：利用Foundation Model实现多领域一致性3D点云自动标注

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D点云标注 视觉Foundation Model 语义分割 贝叶斯更新 3D一致性网络

📋 核心要点

  1. 手动标注3D点云数据成本高昂，且现有3D VFM模型通常是2D模型的简单适配，导致3D标签不一致。
  2. LeAP利用2D VFM进行3D数据自动标注，通过贝叶斯更新和3D一致性网络确保标签的时空一致性和质量。
  3. 实验表明，LeAP无需手动标注即可生成高质量3D语义标签，且能显著提升模型在新领域的语义分割性能。

📝 摘要（中文）

数据集的可获得性是3D语义理解研究的重要驱动力。虽然获取未标注的3D点云数据很简单，但手动标注这些数据既耗时又昂贵。最近，视觉Foundation Model (VFMs) 实现了相机图像上的开放集语义分割，有可能辅助自动标注。然而，用于3D数据的VFMs主要还是2D模型的改进版本，这可能会给3D标签带来不一致性。本文介绍了Label Any Pointcloud (LeAP)，它利用2D VFMs自动标注3D数据，可以使用任何类集合，应用于任何类型的应用，同时确保标签一致性。通过贝叶斯更新，点标签被组合成体素，以提高时空一致性。一种新颖的3D一致性网络 (3D-CN) 利用3D信息来进一步提高标签质量。通过各种实验，我们表明我们的方法可以在没有任何手动标注的情况下，跨不同领域生成高质量的3D语义标签。此外，使用我们的标签调整到新领域的模型在语义分割任务中显示出高达34.2 mIoU的提升。

🔬 方法详解

问题定义：论文旨在解决3D点云数据语义标注成本高昂的问题。现有的方法，特别是依赖人工标注的方式，效率低下且难以扩展到新的领域。此外，直接将2D视觉Foundation Model (VFM) 应用于3D数据会导致标签不一致性，影响标注质量。

核心思路：论文的核心思路是利用预训练的2D VFM的强大语义理解能力，结合3D几何信息和时空一致性约束，实现自动、一致且高质量的3D点云标注。通过将2D图像的语义信息投影到3D空间，并利用贝叶斯更新和3D一致性网络来优化标签，从而避免了人工标注的繁琐和2D-3D转换带来的不一致性。

技术框架：LeAP的整体框架包含以下几个主要阶段：1) 利用2D VFM对多视角图像进行语义分割，获得每个像素的语义标签；2) 将2D像素标签反投影到3D点云，为每个3D点赋予初始语义标签；3) 使用贝叶斯更新将点标签聚合到体素中，以提高时空一致性；4) 利用3D一致性网络 (3D-CN) 进一步优化体素标签，利用3D几何信息增强标签质量。

关键创新：LeAP的关键创新在于：1) 提出了一种利用2D VFM进行3D点云自动标注的框架，避免了人工标注的成本；2) 引入了贝叶斯更新和3D一致性网络，有效解决了2D-3D转换带来的标签不一致性问题，提高了标注质量；3) 该方法具有很强的通用性，可以应用于各种领域和类别，无需针对特定场景进行训练。

关键设计：3D一致性网络 (3D-CN) 是一个关键的设计。它利用3D体素的邻域信息来预测每个体素的标签，从而保证标签的空间一致性。3D-CN的具体结构未知，但可以推测其输入是体素及其邻域的特征，输出是每个体素的标签概率分布。贝叶斯更新的具体公式未知，但其目的是根据多个视角的观测结果更新体素的标签概率分布，从而提高标签的置信度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LeAP在多个领域展示了其生成高质量3D语义标签的能力，无需任何手动标注。使用LeAP生成的标签训练的模型在语义分割任务中取得了显著的性能提升，最高可达34.2 mIoU。这表明LeAP能够有效地降低3D数据标注的成本，并提高3D语义理解模型的性能。

🎯 应用场景

LeAP具有广泛的应用前景，例如自动驾驶、机器人导航、城市建模、虚拟现实等领域。它可以用于快速生成大规模的3D语义地图，为自动驾驶汽车提供环境感知能力，帮助机器人理解周围环境，加速城市三维重建，并为虚拟现实应用提供逼真的场景。

📄 摘要（原文）

Availability of datasets is a strong driver for research on 3D semantic understanding, and whilst obtaining unlabeled 3D point cloud data is straightforward, manually annotating this data with semantic labels is time-consuming and costly. Recently, Vision Foundation Models (VFMs) enable open-set semantic segmentation on camera images, potentially aiding automatic labeling. However,VFMs for 3D data have been limited to adaptations of 2D models, which can introduce inconsistencies to 3D labels. This work introduces Label Any Pointcloud (LeAP), leveraging 2D VFMs to automatically label 3D data with any set of classes in any kind of application whilst ensuring label consistency. Using a Bayesian update, point labels are combined into voxels to improve spatio-temporal consistency. A novel 3D Consistency Network (3D-CN) exploits 3D information to further improve label quality. Through various experiments, we show that our method can generate high-quality 3D semantic labels across diverse fields without any manual labeling. Further, models adapted to new domains using our labels show up to a 34.2 mIoU increase in semantic segmentation tasks.