Enhanced Self-Distillation Framework for Efficient Spiking Neural Network Training

📄 arXiv: 2510.06254v1 📥 PDF

作者: Xiaochen Zhao, Chengting Yu, Kairong Yu, Lei Liu, Aili Wang

分类: cs.CV

发布日期: 2025-10-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出增强型自蒸馏框架，用于高效脉冲神经网络训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 自蒸馏 神经形态计算 高效训练 替代梯度

📋 核心要点

  1. 传统SNN训练方法依赖替代梯度和BPTT，存在性能落后于ANN，计算和内存开销大的问题。
  2. 论文提出增强型自蒸馏框架，利用模型自身产生的高质量知识，通过ANN分支优化SNN子结构。
  3. 实验表明，该方法在降低训练复杂度的同时，实现了高性能的SNN训练，并在多个数据集上验证有效性。

📝 摘要（中文）

脉冲神经网络(SNNs)由于其稀疏激活模式，在神经形态硬件上表现出卓越的能效。然而，基于替代梯度和时间反向传播(BPTT)的传统训练方法不仅在性能上落后于人工神经网络(ANNs)，而且还产生显著的计算和内存开销，这些开销随时间维度线性增长。为了在有限的计算资源下实现高性能SNN训练，我们提出了一种增强型自蒸馏框架，并与基于速率的反向传播联合优化。具体来说，中间SNN层的发放率被投影到轻量级ANN分支上，并且由模型自身生成的高质量知识被用于通过ANN路径优化子结构。与传统的自蒸馏范式不同，我们观察到低质量的自生成知识可能会阻碍收敛。为了解决这个问题，我们将教师信号解耦为可靠和不可靠的组成部分，确保只有可靠的知识被用来指导模型的优化。在CIFAR-10、CIFAR-100、CIFAR10-DVS和ImageNet上的大量实验表明，我们的方法降低了训练复杂度，同时实现了高性能的SNN训练。

🔬 方法详解

问题定义：现有的SNN训练方法，特别是基于替代梯度和时间反向传播(BPTT)的方法，在性能上不如人工神经网络(ANN)，并且计算和内存开销随着时间步长的增加而线性增长。这使得在资源受限的硬件上训练高性能SNN变得困难。因此，需要一种更高效的SNN训练方法，能够在降低计算复杂度的同时，保持甚至提升SNN的性能。

核心思路：论文的核心思路是利用自蒸馏技术，将SNN中间层的激活信息（发放率）传递给轻量级的ANN分支，并利用ANN分支提供的梯度信息来优化SNN。通过这种方式，SNN可以从自身学习，并利用ANN的优势来加速训练和提高性能。同时，论文还关注到自蒸馏过程中可能出现的低质量知识问题，并提出了相应的解决方案。

技术框架：整体框架包含一个SNN和一个或多个轻量级的ANN分支。SNN接收输入数据，并产生中间层的发放率。这些发放率被投影到ANN分支上，ANN分支进行前向传播并计算损失。然后，ANN分支的梯度被反向传播到SNN，用于更新SNN的参数。为了解决低质量知识的问题，论文将教师信号（即ANN分支的输出）分解为可靠和不可靠的组成部分，只使用可靠的知识来指导SNN的优化。

关键创新：该方法最重要的创新点在于增强型自蒸馏框架，它不仅利用了自蒸馏的优势，还解决了自蒸馏过程中可能出现的低质量知识问题。通过将教师信号解耦为可靠和不可靠的组成部分，该方法能够更有效地利用自生成知识来指导SNN的优化。与传统的自蒸馏方法相比，该方法更加鲁棒，能够更好地适应不同的数据集和网络结构。

关键设计：关键设计包括：1) 如何将SNN中间层的发放率投影到ANN分支上；2) 如何设计ANN分支的结构，使其既能提供有效的梯度信息，又不会增加过多的计算负担；3) 如何将教师信号解耦为可靠和不可靠的组成部分，并确定哪些知识是可靠的；4) 如何设计损失函数，以平衡SNN自身的损失和来自ANN分支的蒸馏损失。具体的参数设置和网络结构可能因不同的数据集和任务而异。

📊 实验亮点

实验结果表明，该方法在CIFAR-10、CIFAR-100、CIFAR10-DVS和ImageNet等数据集上取得了显著的性能提升，同时降低了训练复杂度。具体性能数据需要在论文中查找。该方法与现有的SNN训练方法相比，在精度和效率上都具有优势，为SNN的实际应用提供了有力的支持。

🎯 应用场景

该研究成果可应用于低功耗、高效率的神经形态计算领域，例如边缘计算设备、机器人、物联网设备等。通过降低SNN的训练复杂度和提高其性能，可以使得SNN在这些资源受限的场景中得到更广泛的应用。此外，该方法还可以促进SNN在视觉、语音等领域的应用，并为开发更智能、更节能的AI系统提供新的思路。

📄 摘要（原文）

Spiking Neural Networks (SNNs) exhibit exceptional energy efficiency on neuromorphic hardware due to their sparse activation patterns. However, conventional training methods based on surrogate gradients and Backpropagation Through Time (BPTT) not only lag behind Artificial Neural Networks (ANNs) in performance, but also incur significant computational and memory overheads that grow linearly with the temporal dimension. To enable high-performance SNN training under limited computational resources, we propose an enhanced self-distillation framework, jointly optimized with rate-based backpropagation. Specifically, the firing rates of intermediate SNN layers are projected onto lightweight ANN branches, and high-quality knowledge generated by the model itself is used to optimize substructures through the ANN pathways. Unlike traditional self-distillation paradigms, we observe that low-quality self-generated knowledge may hinder convergence. To address this, we decouple the teacher signal into reliable and unreliable components, ensuring that only reliable knowledge is used to guide the optimization of the model. Extensive experiments on CIFAR-10, CIFAR-100, CIFAR10-DVS, and ImageNet demonstrate that our method reduces training complexity while achieving high-performance SNN training. Our code is available at https://github.com/Intelli-Chip-Lab/enhanced-self-distillation-framework-for-snn.