DM3D: Deformable Mamba via Offset-Guided Differentiable Scanning for Point Cloud Understanding

📄 arXiv: 2512.03424 📥 PDF

作者: Bin Liu, Chunyang Wang, Xuelian Liu, Ge Zhang

分类: cs.CV

发布日期: 2026-04-06

💡 一句话要点

提出DM3D，通过可变形Mamba和可微扫描实现点云理解

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 点云理解 状态空间模型 可变形卷积 自适应序列化 三维重建

📋 核心要点

  1. 现有方法依赖于固定的点云序列化方案，无法有效适应点云的几何结构变化。
  2. DM3D通过偏移引导的可微扫描机制，自适应地重采样和重排序点云，实现结构感知的序列化。
  3. 实验表明，DM3D在点云分类、少样本学习和部件分割任务上取得了SOTA或极具竞争力的结果。

📝 摘要（中文）

本文提出了一种用于点云理解的可变形Mamba架构DM3D。现有方法依赖于预定义的序列化方案，其固定的扫描模式无法适应不同的几何结构。为了解决这个限制，DM3D引入了一种偏移引导的可微扫描机制，该机制联合执行重采样和重排序。可变形空间重采样(DSR)通过自适应地重采样局部特征来增强结构感知，而基于高斯的可微重排序(GDR)能够对序列化顺序进行端到端优化。此外，还引入了一种连续性感知状态更新(CASU)机制，该机制基于局部几何连续性来调节状态更新。此外，三路径融合模块促进了不同SSM分支之间的互补交互。这些设计共同实现了点云的结构自适应序列化。在基准数据集上的大量实验表明，DM3D在分类、少样本学习和部件分割任务上取得了最先进或极具竞争力的结果，验证了自适应序列化对于点云理解的有效性。

🔬 方法详解

问题定义：现有基于状态空间模型（SSM）的点云处理方法，依赖于预定义的序列化方案，例如空间填充曲线。这些固定的扫描模式无法适应点云中各种复杂的几何结构，导致模型难以捕捉点云的内在结构信息。因此，如何设计一种能够自适应点云结构的序列化方法是关键问题。

核心思路：DM3D的核心思路是引入可变形的扫描机制，使得模型能够根据点云的局部几何结构自适应地调整扫描顺序和采样位置。通过可变形空间重采样(DSR)增强局部结构感知，并通过基于高斯的可微重排序(GDR)实现序列化顺序的端到端优化。

技术框架：DM3D的整体框架包含以下几个主要模块：1) 可变形空间重采样(DSR)：自适应地重采样局部特征，增强结构感知。2) 基于高斯的可微重排序(GDR)：对点云进行重排序，优化序列化顺序。3) 连续性感知状态更新(CASU)：基于局部几何连续性调节状态更新。4) 三路径融合模块：促进不同SSM分支之间的信息交互。整个流程是先通过DSR进行局部特征增强，然后通过GDR进行全局重排序，再利用Mamba进行序列建模，最后通过CASU和三路径融合模块进行优化。

关键创新：DM3D的关键创新在于提出了偏移引导的可微扫描机制，该机制能够联合执行重采样和重排序，从而实现结构自适应的序列化。与现有方法中固定的序列化方案不同，DM3D能够根据点云的几何结构动态地调整扫描模式，从而更好地捕捉点云的内在结构信息。

关键设计：DSR使用可变形卷积来学习采样偏移量，GDR使用高斯核函数来定义点之间的相似度，并基于相似度进行重排序。CASU通过学习一个门控机制来调节状态更新，门控信号由局部几何连续性决定。三路径融合模块使用可学习的权重来融合不同SSM分支的输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DM3D在点云分类、少样本学习和部件分割任务上取得了显著的成果。例如，在ModelNet40数据集上，DM3D在分类任务上取得了SOTA结果。在少样本学习任务上，DM3D相比现有方法有显著的性能提升。在ShapeNet Part数据集上，DM3D在部件分割任务上取得了极具竞争力的结果，验证了其自适应序列化方法的有效性。

🎯 应用场景

DM3D在点云理解方面具有广泛的应用前景，例如自动驾驶中的环境感知、机器人导航中的场景理解、以及三维建模中的形状分析等。通过自适应地捕捉点云的结构信息，DM3D可以提高这些应用场景中的性能和鲁棒性，并为未来的三维智能系统提供更强大的支持。

📄 摘要（原文）

State Space Models (SSMs) show significant potential for long-sequence modeling, but their reliance on input order conflicts with the irregular nature of point clouds. Existing approaches often rely on predefined serialization schemes whose fixed scanning patterns cannot adapt to diverse geometric structures. To address this limitation, we propose DM3D, a deformable Mamba architecture for point cloud understanding. Specifically, DM3D introduces an offset-guided differentiable scanning mechanism that jointly performs resampling and reordering. Deformable Spatial Resampling (DSR) enhances structural awareness by adaptively resampling local features, while the Gaussian-based Differentiable Reordering (GDR) enables end-to-end optimization of the serialization order. We further introduce a Continuity-Aware State Update (CASU) mechanism that modulates the state update based on local geometric continuity. In addition, a Tri-Path Fusion module facilitates complementary interactions among different SSM branches. Together, these designs enable structure-adaptive serialization for point clouds. Extensive experiments on benchmark datasets show that DM3D achieves state-of-the-art or highly competitive results on classification, few-shot learning, and part segmentation tasks, validating the effectiveness of adaptive serialization for point cloud understanding.