Seg2Box: 3D Object Detection by Point-Wise Semantics Supervision

📄 arXiv: 2503.16811v1 📥 PDF

作者: Maoji Zheng, Ziyu Xu, Qiming Xia, Hai Wu, Chenglu Wen, Cheng Wang

分类: cs.CV

发布日期: 2025-03-21

备注: 8 pages, 6 figures

💡 一句话要点

Seg2Box：提出一种仅使用语义标签监督的三维目标检测方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维目标检测 点云 语义分割 自训练 伪标签 多帧聚类 激光雷达

📋 核心要点

  1. 传统3D目标检测依赖边界框标注，语义分割依赖像素级标注，两者存在信息冗余，且标注成本高昂。
  2. Seg2Box利用点云语义标签进行3D目标检测，通过多帧多尺度聚类生成伪标签，并使用自训练迭代优化。
  3. 在Waymo和nuScenes数据集上，Seg2Box在mAP指标上分别提升了23.7%和10.3%，展示了其优越的性能。

📝 摘要（中文）

基于激光雷达的三维目标检测和语义分割是三维场景理解中的关键任务。传统的检测和分割方法通过边界框标签和语义掩码标签来监督模型，但这些独立的标签本质上包含大量冗余。本文旨在通过仅使用语义标签来监督三维目标检测，从而消除冗余。然而，点云实例的几何结构不完整和边界模糊性导致伪标签不准确和检测结果不佳，带来了挑战。为了解决这些挑战，我们提出了一种名为Seg2Box的新方法。我们首先引入多帧多尺度聚类（MFMS-C）模块，该模块利用点云的时空一致性来生成准确的框级伪标签。此外，提出了语义引导的迭代挖掘自训练（SGIM-ST）模块，通过逐步细化伪标签和挖掘未生成伪标签的实例来提高性能。在Waymo Open Dataset和nuScenes Dataset上的实验表明，我们的方法在mAP方面分别显著优于其他有竞争力的的方法23.7％和10.3％。结果表明了我们方法在标签效率方面的巨大潜力和先进性。

🔬 方法详解

问题定义：现有基于激光雷达的三维目标检测方法通常依赖于精确的边界框标注，而语义分割则需要像素级别的标注。这两种标注方式不仅成本高昂，而且存在信息冗余。论文旨在解决如何仅使用语义标签来有效监督三维目标检测的问题，降低标注成本，并提高检测效率。现有方法在利用语义信息进行目标检测时，由于点云数据的不完整性和边界模糊性，难以生成高质量的伪标签，导致检测性能不佳。

核心思路：Seg2Box的核心思路是利用点云的语义信息，通过多帧多尺度聚类生成初始的框级伪标签，然后通过自训练的方式迭代地优化这些伪标签，从而逐步提升三维目标检测的性能。这种方法旨在克服点云数据的不完整性和边界模糊性带来的挑战，充分挖掘语义信息在目标检测中的潜力。

技术框架：Seg2Box主要包含两个核心模块：多帧多尺度聚类（MFMS-C）模块和语义引导的迭代挖掘自训练（SGIM-ST）模块。首先，MFMS-C模块利用多帧点云的时空一致性，在多个尺度上进行聚类，生成初始的框级伪标签。然后，SGIM-ST模块利用语义信息引导，通过迭代的方式逐步细化这些伪标签，并挖掘那些未生成伪标签的实例，从而提高检测的召回率和精度。整个框架采用自训练的方式，不断提升模型的性能。

关键创新：Seg2Box的关键创新在于提出了一种仅使用语义标签进行三维目标检测的框架。与传统的依赖边界框标注的方法不同，Seg2Box充分利用了点云的语义信息，通过多帧多尺度聚类和自训练的方式，实现了高效且准确的三维目标检测。这种方法不仅降低了标注成本，而且在性能上超越了许多传统的有监督方法。

关键设计：MFMS-C模块的关键设计在于利用了多帧点云的时空一致性，通过在多个尺度上进行聚类，可以有效地减少噪声的影响，提高伪标签的质量。SGIM-ST模块的关键设计在于利用语义信息引导自训练过程，通过迭代地细化伪标签和挖掘未生成伪标签的实例，可以有效地提高检测的召回率和精度。具体的损失函数和网络结构细节在论文中进行了详细描述，例如，可能使用了 focal loss 来解决类别不平衡问题，并设计了特定的网络结构来更好地提取点云的语义特征（具体细节需参考原文）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Seg2Box在Waymo Open Dataset和nuScenes Dataset上取得了显著的性能提升。在Waymo Open Dataset上，Seg2Box的mAP指标比其他竞争方法高出23.7%。在nuScenes Dataset上，Seg2Box的mAP指标也提升了10.3%。这些结果表明，Seg2Box在仅使用语义标签的情况下，能够实现与甚至超越传统有监督方法的性能，展示了其在标签效率方面的巨大潜力。

🎯 应用场景

Seg2Box在自动驾驶、机器人导航、智能安防等领域具有广泛的应用前景。通过仅使用语义标签进行三维目标检测，可以显著降低标注成本，加速模型的开发和部署。该方法还可以应用于大规模点云数据的处理，提高三维场景理解的效率和准确性，为相关应用提供更可靠的环境感知能力。

📄 摘要（原文）

LiDAR-based 3D object detection and semantic segmentation are critical tasks in 3D scene understanding. Traditional detection and segmentation methods supervise their models through bounding box labels and semantic mask labels. However, these two independent labels inherently contain significant redundancy. This paper aims to eliminate the redundancy by supervising 3D object detection using only semantic labels. However, the challenge arises due to the incomplete geometry structure and boundary ambiguity of point-cloud instances, leading to inaccurate pseudo labels and poor detection results. To address these challenges, we propose a novel method, named Seg2Box. We first introduce a Multi-Frame Multi-Scale Clustering (MFMS-C) module, which leverages the spatio-temporal consistency of point clouds to generate accurate box-level pseudo-labels. Additionally, the Semantic?Guiding Iterative-Mining Self-Training (SGIM-ST) module is proposed to enhance the performance by progressively refining the pseudo-labels and mining the instances without generating pseudo-labels. Experiments on the Waymo Open Dataset and nuScenes Dataset show that our method significantly outperforms other competitive methods by 23.7\% and 10.3\% in mAP, respectively. The results demonstrate the great label-efficient potential and advancement of our method.