Cross Knowledge Distillation between Artificial and Spiking Neural Networks

📄 arXiv: 2507.09269v1 📥 PDF

作者: Shuhan Ye, Yuanbin Qian, Chong Wang, Sunqi Lin, Jiazhen Xu, Jiangbo Qian, Yuqi Li

分类: cs.CV, cs.AI

发布日期: 2025-07-12

备注: This paper has been accepted by ICME2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出跨模态知识蒸馏(CKD)方法，提升SNN在DVS数据上的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 知识蒸馏 跨模态学习 事件相机 神经形态计算

📋 核心要点

  1. SNN在计算机视觉领域潜力巨大，但受限于数据和架构，性能不如ANN。
  2. 提出跨知识蒸馏(CKD)，利用语义相似性和分阶段蒸馏，解决跨模态和跨架构挑战。
  3. 在N-Caltech101和CEP-DVS等数据集上验证，CKD方法优于现有SOTA方法。

📝 摘要（中文）

近年来，脉冲神经网络(SNNs)由于其高生物合理性、事件驱动特性和节能效率，在计算机视觉领域展现出巨大的潜力。然而，有限的带注释的事件数据和不成熟的SNN架构导致其性能不如人工神经网络(ANNs)。为了提高SNN在其最佳数据格式DVS数据上的性能，我们探索使用RGB数据和性能良好的ANNs来实现知识蒸馏。在这种情况下，解决跨模态和跨架构的挑战是必要的。在本文中，我们提出了跨知识蒸馏(CKD)，它不仅利用语义相似性和滑动替换来缓解跨模态挑战，而且还使用间接分阶段知识蒸馏来缓解跨架构挑战。我们在主流神经形态数据集（包括N-Caltech101和CEP-DVS）上验证了我们的方法。实验结果表明，我们的方法优于当前最先进的方法。

🔬 方法详解

问题定义：论文旨在解决脉冲神经网络（SNN）在事件相机数据（DVS）上性能不足的问题。现有的SNN模型由于缺乏足够的标注数据和成熟的网络结构，其性能远低于在RGB图像上训练的人工神经网络（ANN）。直接将ANN的知识迁移到SNN面临跨模态（RGB vs DVS）和跨架构（ANN vs SNN）的双重挑战。

核心思路：论文的核心思路是利用知识蒸馏技术，将性能优异的ANN模型在RGB图像上学习到的知识迁移到SNN模型，从而提升SNN在DVS数据上的性能。为了应对跨模态和跨架构的挑战，论文提出了跨知识蒸馏（CKD）方法，该方法通过语义相似性和滑动替换来缓解跨模态差异，并采用间接分阶段知识蒸馏来解决ANN和SNN之间的架构差异。

技术框架：CKD的整体框架包含以下几个主要阶段：1) 在RGB图像上训练一个高性能的ANN模型作为教师模型。2) 利用语义相似性和滑动替换技术，将RGB图像转换为伪DVS事件数据。3) 使用教师模型对伪DVS数据进行推理，生成软标签。4) 设计一个中间ANN学生模型，使用伪DVS数据和教师模型的软标签进行训练。5) 将中间ANN学生模型的知识蒸馏到SNN学生模型，从而提升SNN在真实DVS数据上的性能。

关键创新：论文的关键创新在于提出了跨知识蒸馏（CKD）方法，该方法能够有效地将ANN模型在RGB图像上学习到的知识迁移到SNN模型，从而提升SNN在DVS数据上的性能。CKD方法通过语义相似性和滑动替换来缓解跨模态差异，并采用间接分阶段知识蒸馏来解决ANN和SNN之间的架构差异。与直接蒸馏相比，CKD方法能够更好地保留ANN的知识，并将其有效地迁移到SNN。

关键设计：在CKD方法中，语义相似性通过计算RGB图像和DVS事件之间的特征相似度来实现。滑动替换技术用于生成伪DVS事件数据，该技术通过在RGB图像上滑动一个窗口，并根据窗口内的像素变化生成事件。间接分阶段知识蒸馏通过引入一个中间ANN学生模型，逐步将知识从教师模型迁移到SNN学生模型。损失函数包括分类损失和蒸馏损失，其中蒸馏损失用于衡量学生模型和教师模型之间的输出差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的CKD方法在N-Caltech101和CEP-DVS等主流神经形态数据集上取得了显著的性能提升，超越了当前最先进的方法。具体性能数据需要在论文中查找。该结果验证了CKD方法在跨模态和跨架构知识蒸馏方面的有效性，为SNN的发展提供了新的思路。

🎯 应用场景

该研究成果可应用于各种需要低功耗、高效率的计算机视觉任务，例如自动驾驶、机器人导航、智能监控等。通过将ANN的知识迁移到SNN，可以充分利用SNN的优势，在资源受限的设备上实现高性能的视觉感知能力。未来，该方法有望推动SNN在实际应用中的普及。

📄 摘要（原文）

Recently, Spiking Neural Networks (SNNs) have demonstrated rich potential in computer vision domain due to their high biological plausibility, event-driven characteristic and energy-saving efficiency. Still, limited annotated event-based datasets and immature SNN architectures result in their performance inferior to that of Artificial Neural Networks (ANNs). To enhance the performance of SNNs on their optimal data format, DVS data, we explore using RGB data and well-performing ANNs to implement knowledge distillation. In this case, solving cross-modality and cross-architecture challenges is necessary. In this paper, we propose cross knowledge distillation (CKD), which not only leverages semantic similarity and sliding replacement to mitigate the cross-modality challenge, but also uses an indirect phased knowledge distillation to mitigate the cross-architecture challenge. We validated our method on main-stream neuromorphic datasets, including N-Caltech101 and CEP-DVS. The experimental results show that our method outperforms current State-of-the-Art methods. The code will be available at https://github.com/ShawnYE618/CKD