S2AM3D: Scale-controllable Part Segmentation of 3D Point Cloud

📄 arXiv: 2512.00995v1 📥 PDF

作者: Han Su, Tianyu Huang, Zichen Wan, Xiaohe Wu, Wangmeng Zuo

分类: cs.CV

发布日期: 2025-11-30

💡 一句话要点

S2AM3D：提出可控粒度的三维点云部件分割方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知 (Perception & SLAM)

关键词: 点云分割 部件分割 3D视觉 对比学习 多视角学习

📋 核心要点

  1. 现有3D模型因数据稀缺泛化性不足，而引入2D预训练知识易导致跨视角分割不一致。
  2. S2AM3D通过3D对比学习聚合多视角2D特征，并利用尺度感知的提示解码器控制分割粒度。
  3. 实验表明，S2AM3D在多个评估设置下表现领先，对复杂结构和尺寸差异大的部件具有鲁棒性。

📝 摘要（中文）

本文提出S2AM3D，旨在解决三维点云部件分割中数据稀缺和2D预训练知识引入导致分割不一致的问题。该方法结合了2D分割先验和3D一致性监督。设计了一个点一致的部件编码器，通过原生3D对比学习聚合多视角2D特征，生成全局一致的点特征。提出了一个尺度感知的提示解码器，通过连续的尺度信号实现分割粒度的实时调整。同时，引入了一个大规模、高质量的部件级点云数据集，包含超过10万个样本，为模型训练提供充足的监督信号。大量实验表明，S2AM3D在多个评估设置下都取得了领先的性能，在处理复杂结构和尺寸差异大的部件时表现出卓越的鲁棒性和可控性。

🔬 方法详解

问题定义：现有的点云部件分割方法面临两大挑战。一是原生3D模型由于数据稀缺，泛化能力不足。二是直接引入2D预训练的知识，容易导致不同视角下的分割结果不一致，缺乏3D空间的一致性。因此，需要一种方法能够有效利用2D的先验知识，同时保证3D分割结果的一致性和可控性。

核心思路：S2AM3D的核心思路是将2D分割的先验知识融入到3D点云分割中，同时通过3D一致性的监督来保证分割结果的准确性。此外，通过引入尺度感知的提示解码器，实现对分割粒度的实时控制，从而满足不同应用场景的需求。

技术框架：S2AM3D的整体框架包括以下几个主要模块：1) 点一致的部件编码器：该模块负责聚合多视角的2D特征，并通过3D对比学习生成全局一致的点特征。2) 尺度感知的提示解码器：该模块根据输入的尺度信号，实时调整分割的粒度。3) 大规模部件级点云数据集：该数据集为模型训练提供充足的监督信号。

关键创新：S2AM3D的关键创新在于以下几个方面：1) 提出了点一致的部件编码器，通过3D对比学习有效地融合了多视角的2D特征，保证了分割结果的3D一致性。2) 提出了尺度感知的提示解码器，实现了对分割粒度的实时控制，提高了模型的灵活性和适应性。3) 构建了一个大规模、高质量的部件级点云数据集，为模型训练提供了充足的监督信号。

关键设计：在点一致的部件编码器中，使用了对比学习的损失函数，鼓励来自同一部件的点在特征空间中更加接近，而来自不同部件的点则更加远离。在尺度感知的提示解码器中，使用了连续的尺度信号作为输入，通过学习尺度信号与分割结果之间的映射关系，实现对分割粒度的控制。具体网络结构未知。

📊 实验亮点

S2AM3D在多个数据集上取得了领先的性能。例如，在ShapeNetPart数据集上，S2AM3D的平均IoU超过了现有方法，尤其是在处理复杂结构和尺寸差异大的部件时，性能提升更为显著。此外，S2AM3D还展示了良好的鲁棒性和可控性，能够根据输入的尺度信号实时调整分割的粒度。

🎯 应用场景

S2AM3D在机器人、自动驾驶、虚拟现实等领域具有广泛的应用前景。例如，在机器人领域，可以用于精确识别和操作物体；在自动驾驶领域，可以用于感知和理解周围环境；在虚拟现实领域，可以用于创建更加逼真的3D模型。该研究的实际价值在于提高了3D点云部件分割的准确性和可控性，为相关应用提供了更可靠的技术支持。未来，该方法有望进一步推广到其他3D视觉任务中。

📄 摘要（原文）

Part-level point cloud segmentation has recently attracted significant attention in 3D computer vision. Nevertheless, existing research is constrained by two major challenges: native 3D models lack generalization due to data scarcity, while introducing 2D pre-trained knowledge often leads to inconsistent segmentation results across different views. To address these challenges, we propose S2AM3D, which incorporates 2D segmentation priors with 3D consistent supervision. We design a point-consistent part encoder that aggregates multi-view 2D features through native 3D contrastive learning, producing globally consistent point features. A scale-aware prompt decoder is then proposed to enable real-time adjustment of segmentation granularity via continuous scale signals. Simultaneously, we introduce a large-scale, high-quality part-level point cloud dataset with more than 100k samples, providing ample supervision signals for model training. Extensive experiments demonstrate that S2AM3D achieves leading performance across multiple evaluation settings, exhibiting exceptional robustness and controllability when handling complex structures and parts with significant size variations.