Efficient Spiking Point Mamba for Point Cloud Analysis

📄 arXiv: 2504.14371v2 📥 PDF

作者: Peixi Wu, Bosong Chai, Menghua Zheng, Wei Li, Zhangchi Hu, Jie Chen, Zheyu Zhang, Hebei Li, Xiaoyan Sun

分类: cs.CV

发布日期: 2025-04-19 (更新: 2025-06-26)

备注: Accepted by ICCV 2025

💡 一句话要点

提出Spiking Point Mamba (SPM)，用于高效点云分析的Mamba架构SNN

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 点云分析 Mamba架构 序列建模 时间特征提取 分层动态编码 低功耗计算

📋 核心要点

  1. 现有3D SNN难以捕捉长程依赖，且计算效率较低，限制了其在点云分析中的应用。
  2. SPM结合Mamba的序列建模能力和SNN的时间特征提取能力，通过HDE和SMB实现高效的3D点云特征学习。
  3. 实验表明，SPM在ScanObjectNN和ShapeNetPart数据集上显著优于现有SNN模型，并降低了能耗。

📝 摘要（中文）

本文提出Spiking Point Mamba (SPM)，这是首个基于Mamba的3D领域脉冲神经网络(SNN)。针对直接将Mamba应用于3D SNN性能不佳的问题，SPM旨在结合Mamba的序列建模能力和SNN的时间特征提取能力。具体而言，首先引入分层动态编码(HDE)，这是一种改进的直接编码方法，有效引入动态时间机制，从而促进时间交互。然后，提出了脉冲Mamba块(SMB)，它建立在Mamba的基础上，同时学习时间步间的特征，并最大限度地减少由脉冲引起的信息损失。最后，为了进一步提高模型性能，采用了非对称的SNN-ANN架构进行基于脉冲的预训练和微调。与之前的SNN模型相比，SPM在ScanObjectNN的三个变体上将OA提高了+6.2%、+6.1%和+7.4%，并在ShapeNetPart上将实例mIOU提高了+1.9%。同时，其能耗至少比其ANN对应物低3.5倍。代码将会开源。

🔬 方法详解

问题定义：现有3D脉冲神经网络（SNN）在处理点云数据时，难以有效捕捉长程依赖关系，并且计算效率较低。直接将Mamba架构应用于3D SNN会导致性能不佳，无法充分利用SNN的时间特征提取能力。因此，需要一种能够有效建模点云数据的时序信息，同时保持计算效率的3D SNN架构。

核心思路：SPM的核心思路是将Mamba架构的序列建模能力与SNN的时间特征提取能力相结合。通过改进的直接编码方法（HDE）引入动态时间机制，促进时间交互。同时，设计脉冲Mamba块（SMB）来学习时间步间的特征，并减少脉冲引起的信息损失。此外，采用非对称的SNN-ANN架构进行预训练和微调，进一步提升模型性能。

技术框架：SPM的整体架构包括以下几个主要模块：1) 分层动态编码（HDE）：用于将点云数据编码为脉冲序列，并引入动态时间机制。2) 脉冲Mamba块（SMB）：基于Mamba架构，用于学习脉冲序列中的时序特征。3) 非对称SNN-ANN架构：用于预训练和微调，提高模型性能。整个流程首先通过HDE将点云数据编码为脉冲序列，然后通过多个SMB层进行特征提取，最后通过分类器或分割器进行任务预测。

关键创新：SPM的关键创新点在于：1) 首次将Mamba架构引入3D SNN领域。2) 提出了分层动态编码（HDE），有效引入动态时间机制，促进时间交互。3) 设计了脉冲Mamba块（SMB），能够学习时间步间的特征，并减少脉冲引起的信息损失。与现有方法的本质区别在于，SPM能够同时利用Mamba的序列建模能力和SNN的时间特征提取能力，从而实现更高效的点云分析。

关键设计：HDE通过分层的方式对点云数据进行编码，并引入动态阈值来控制脉冲的产生。SMB在Mamba架构的基础上，引入了脉冲神经元和突触，以适应脉冲信号的处理。非对称SNN-ANN架构采用ANN进行预训练，然后将ANN转换为SNN进行微调，以提高模型性能。具体的参数设置包括HDE的层数、SMB的层数、脉冲神经元的阈值、突触的权重等。损失函数包括分类损失或分割损失，以及用于约束脉冲活动的正则化项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPM在ScanObjectNN数据集的三个变体上，OA分别提升了+6.2%、+6.1%和+7.4%，在ShapeNetPart数据集上，实例mIOU提升了+1.9%。同时，SPM的能耗至少比其ANN对应物低3.5倍。这些结果表明，SPM在性能和能耗方面都优于现有的SNN模型。

🎯 应用场景

SPM在自动驾驶、机器人导航、三维场景理解等领域具有广泛的应用前景。它可以用于点云数据的分类、分割、目标检测等任务，为这些应用提供更高效、更节能的解决方案。未来，SPM有望应用于低功耗设备和边缘计算平台，实现实时点云分析。

📄 摘要（原文）

Bio-inspired Spiking Neural Networks (SNNs) provide an energy-efficient way to extract 3D spatio-temporal features. However, existing 3D SNNs have struggled with long-range dependencies until the recent emergence of Mamba, which offers superior computational efficiency and sequence modeling capability. In this work, we propose Spiking Point Mamba (SPM), the first Mamba-based SNN in the 3D domain. Due to the poor performance of simply transferring Mamba to 3D SNNs, SPM is designed to utilize both the sequence modeling capabilities of Mamba and the temporal feature extraction of SNNs. Specifically, we first introduce Hierarchical Dynamic Encoding (HDE), an improved direct encoding method that effectively introduces dynamic temporal mechanism, thereby facilitating temporal interactions. Then, we propose a Spiking Mamba Block (SMB), which builds upon Mamba while learning inter-time-step features and minimizing information loss caused by spikes. Finally, to further enhance model performance, we adopt an asymmetric SNN-ANN architecture for spike-based pre-training and finetune. Compared with the previous state-of-the-art SNN models, SPM improves OA by +6.2%, +6.1%, and +7.4% on three variants of ScanObjectNN, and boosts instance mIOU by +1.9% on ShapeNetPart. Meanwhile, its energy consumption is at least 3.5x lower than that of its ANN counterpart. The code will be made publicly available.