Self-cross Feature based Spiking Neural Networks for Efficient Few-shot Learning

📄 arXiv: 2505.07921v2 📥 PDF

作者: Qi Xu, Junyang Zhu, Dongdong Zhou, Hao Chen, Yang Liu, Jiangrong Shen, Qiang Zhang

分类: cs.LG, cs.AI

发布日期: 2025-05-12 (更新: 2025-05-15)

💡 一句话要点

提出基于自交叉特征的脉冲神经网络，用于高效小样本学习

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 脉冲神经网络 小样本学习 自特征提取 交叉特征对比 神经形态计算

📋 核心要点

  1. 深度神经网络在小样本学习中计算成本高，扩展性差，难以在实际应用中部署。
  2. 论文提出一种基于脉冲神经网络的小样本学习框架，结合自特征提取和交叉特征对比，提升特征表达能力。
  3. 实验表明，该方法在神经形态数据集上显著提升了分类性能，并在静态数据集上实现了与传统神经网络相当的性能，同时降低了功耗。

📝 摘要（中文）

深度神经网络(DNNs)在计算机视觉任务中表现出色，尤其是在小样本学习(FSL)方面，这对于从有限的例子中进行泛化变得越来越重要。然而，DNNs计算成本高昂，在现实世界中存在可扩展性问题。脉冲神经网络(SNNs)具有事件驱动的特性和低能耗，在处理稀疏和动态数据方面特别有效，但它们在捕获复杂的时空特征和执行准确的跨类比较方面仍然遇到困难。为了进一步提高SNNs在小样本学习中的性能和效率，我们提出了一种基于SNNs的小样本学习框架，该框架结合了自特征提取模块和交叉特征对比模块，以改进特征表示并降低功耗。我们应用时间有效训练损失和InfoNCE损失的组合来优化脉冲序列的时间动态并增强判别能力。实验结果表明，所提出的FSL-SNN显著提高了神经形态数据集N-Omniglot上的分类性能，并且在静态数据集（如CUB和miniImageNet）上实现了与ANNs相当的性能，同时功耗较低。

🔬 方法详解

问题定义：小样本学习旨在仅用少量样本进行学习，现有深度神经网络计算量大，功耗高，难以部署。脉冲神经网络虽然功耗低，但在捕获复杂的时空特征和进行精确的跨类比较方面存在困难。

核心思路：论文的核心思路是利用脉冲神经网络的低功耗特性，并结合自特征提取和跨特征对比，增强脉冲神经网络的特征表达能力，从而提高小样本学习的性能。通过优化脉冲序列的时序动态和增强判别能力，使得网络能够更好地区分不同的类别。

技术框架：该框架包含两个主要模块：自特征提取模块和交叉特征对比模块。自特征提取模块用于提取输入样本自身的特征，交叉特征对比模块用于比较不同样本之间的特征。整个流程包括：输入样本经过自特征提取模块得到特征表示，然后通过交叉特征对比模块进行特征比较，最后利用时间有效训练损失和InfoNCE损失进行优化。

关键创新：该方法最重要的创新点在于将自特征提取和交叉特征对比的思想引入到脉冲神经网络的小样本学习中。通过这种方式，网络能够更好地学习到样本之间的关系，从而提高分类的准确性。与现有方法相比，该方法更注重利用脉冲神经网络的特性，并针对小样本学习的特点进行了优化。

关键设计：论文采用了时间有效训练损失和InfoNCE损失的组合。时间有效训练损失用于优化脉冲序列的时序动态，InfoNCE损失用于增强判别能力。具体的网络结构和参数设置在论文中有详细描述，但摘要中未提供具体数值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在N-Omniglot数据集上显著提高了分类性能，证明了其在神经形态数据上的有效性。同时，在CUB和miniImageNet等静态数据集上，该方法也取得了与传统神经网络相当的性能，并且功耗更低。这表明该方法具有良好的泛化能力和实际应用潜力。

🎯 应用场景

该研究成果可应用于资源受限的边缘计算设备，例如移动机器人、无人机和物联网设备。在这些场景下，数据通常是稀疏和动态的，且计算资源有限，因此低功耗、高效的小样本学习方法具有重要的应用价值。该研究还有助于推动神经形态计算的发展，为构建更智能、更节能的AI系统提供新的思路。

📄 摘要（原文）

Deep neural networks (DNNs) excel in computer vision tasks, especially, few-shot learning (FSL), which is increasingly important for generalizing from limited examples. However, DNNs are computationally expensive with scalability issues in real world. Spiking Neural Networks (SNNs), with their event-driven nature and low energy consumption, are particularly efficient in processing sparse and dynamic data, though they still encounter difficulties in capturing complex spatiotemporal features and performing accurate cross-class comparisons. To further enhance the performance and efficiency of SNNs in few-shot learning, we propose a few-shot learning framework based on SNNs, which combines a self-feature extractor module and a cross-feature contrastive module to refine feature representation and reduce power consumption. We apply the combination of temporal efficient training loss and InfoNCE loss to optimize the temporal dynamics of spike trains and enhance the discriminative power. Experimental results show that the proposed FSL-SNN significantly improves the classification performance on the neuromorphic dataset N-Omniglot, and also achieves competitive performance to ANNs on static datasets such as CUB and miniImageNet with low power consumption.