ZigzagPointMamba: Spatial-Semantic Mamba for Point Cloud Understanding

📄 arXiv: 2505.21381v6 📥 PDF

作者: Linshuang Diao, Sensen Song, Yurong Qian, Dayong Ren

分类: cs.CV

发布日期: 2025-05-27 (更新: 2025-10-25)

💡 一句话要点

提出ZigzagPointMamba以解决点云理解中的空间连续性和语义建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 点云理解 自监督学习 状态空间模型 语义建模 深度学习

📋 核心要点

  1. 现有的PointMamba方法在处理点云时依赖复杂的token排序和随机掩蔽，导致空间连续性和局部语义关联的破坏。
  2. 本文提出ZigzagPointMamba，通过锯齿扫描路径全局排序点云tokens，增强空间连续性，并引入语义-西阿米斯掩蔽策略以改善局部语义建模。
  3. 实验结果表明，ZigzagPointMamba在多个数据集上显著提升了下游任务的性能，尤其在ShapeNetPart和ModelNet40上表现突出。

📝 摘要（中文）

状态空间模型（SSMs）如PointMamba在点云自监督学习中实现了高效特征提取，且计算复杂度为线性，优于Transformer。然而，现有的PointMamba方法依赖复杂的token排序和随机掩蔽，破坏了空间连续性和局部语义关联。为此，本文提出了ZigzagPointMamba，通过简单的锯齿扫描路径全局排序点云tokens，增强空间连续性。同时，提出的语义-西阿米斯掩蔽策略（SMS）通过掩蔽语义相似的tokens，促进重建，整合原始和相似tokens的局部特征，克服了对孤立局部特征的依赖。预训练的ZigzagPointMamba权重在下游任务中显著提升，ShapeNetPart的部分分割mIoU提升1.59%，ModelNet40分类准确率提升0.4%，在ScanObjectNN的OBJ-BG、OBJ-ONLY和PB-T50-RS子集上分别提升0.19%、1.22%和0.72%。

🔬 方法详解

问题定义：本文旨在解决现有PointMamba方法在点云理解中因复杂token排序和随机掩蔽而导致的空间连续性和局部语义建模不足的问题。

核心思路：提出ZigzagPointMamba，通过简单的锯齿扫描路径全局排序点云tokens，保持空间相邻tokens的接近性，同时引入语义-西阿米斯掩蔽策略，掩蔽语义相似的tokens以促进重建。

技术框架：整体架构包括锯齿扫描路径模块和语义-西阿米斯掩蔽模块，前者负责全局排序tokens，后者则通过掩蔽相似tokens来整合局部特征。

关键创新：最重要的创新在于锯齿扫描路径的设计，使得空间连续性得以增强，同时通过SMS策略克服了对孤立局部特征的依赖，提升了全局语义建模能力。

关键设计：在参数设置上，采用了特定的掩蔽比例和损失函数设计，以确保模型在重建时能够有效利用相似tokens的局部特征，网络结构则基于现有的PointMamba进行了优化。

📊 实验亮点

实验结果显示，ZigzagPointMamba在ShapeNetPart的部分分割任务中实现了1.59%的mIoU提升，在ModelNet40分类任务中准确率提升0.4%。此外，在ScanObjectNN的多个子集上也分别实现了0.19%、1.22%和0.72%的准确率提升，显示出其在点云理解中的显著优势。

🎯 应用场景

该研究在自动驾驶、机器人感知和三维场景理解等领域具有广泛的应用潜力。通过提升点云数据的理解能力，ZigzagPointMamba可为智能系统提供更准确的环境感知和决策支持，推动相关技术的发展与应用。

📄 摘要（原文）

State Space models (SSMs) such as PointMamba enable efficient feature extraction for point cloud self-supervised learning with linear complexity, outperforming Transformers in computational efficiency. However, existing PointMamba-based methods depend on complex token ordering and random masking, which disrupt spatial continuity and local semantic correlations. We propose ZigzagPointMamba to tackle these challenges. The core of our approach is a simple zigzag scan path that globally sequences point cloud tokens, enhancing spatial continuity by preserving the proximity of spatially adjacent point tokens. Nevertheless, random masking undermines local semantic modeling in self-supervised learning. To address this, we introduce a Semantic-Siamese Masking Strategy (SMS), which masks semantically similar tokens to facilitate reconstruction by integrating local features of original and similar tokens. This overcomes the dependence on isolated local features and enables robust global semantic modeling. Our pre-trained ZigzagPointMamba weights significantly improve downstream tasks, achieving a 1.59% mIoU gain on ShapeNetPart for part segmentation, a 0.4% higher accuracy on ModelNet40 for classification, and 0.19%, 1.22%, and 0.72% higher accuracies respectively for the classification tasks on the OBJ-BG, OBJ-ONLY, and PB-T50-RS subsets of ScanObjectNN.