Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks

📄 arXiv: 2410.15293v1 📥 PDF

作者: Yi Yang, Richard M. Voyles, Haiyan H. Zhang, Robert A. Nawrocki

分类: cs.NE, cs.AI, cs.LG

发布日期: 2024-10-20

备注: 15 pages, 12 figures

期刊: Neurocomputing, vol. 611, p. 128662, Jan. 2025

DOI: 10.1016/j.neucom.2024.128662

💡 一句话要点

提出分数阶STDP梯度下降算法，提升脉冲神经网络在时序数据上的学习能力。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 脉冲神经网络 分数阶梯度下降 脉冲时序依赖可塑性 类脑计算 神经形态工程

📋 核心要点

  1. 脉冲神经网络(SNNs)在时空信息编码和传输方面更有效，但其监督学习因STDP难以在反向传播中实现而面临挑战。
  2. 论文提出FO-STDGD模型，通过引入分数阶梯度下降，并结合非线性激活函数，优化SNNs的脉冲时序依赖学习。
  3. 实验结果表明，FO-STDGD模型在MNIST和DVS128手势数据集上表现出色，且分类精度随分数阶增加而提升，最高提升达155%。

📝 摘要（中文）

本文提出了一种分数阶脉冲时序依赖梯度下降(FO-STDGD)学习模型，该模型考虑了一种导出的非线性激活函数，该函数描述了非泄漏积分-放电神经元的准瞬时放电率和时间膜电位之间的关系。该训练策略可以推广到0到2之间的任何分数阶，因为FO-STDGD将分数阶梯度下降方法纳入到脉冲时序依赖损失梯度的计算中。所提出的FO-STDGD模型在MNIST和DVS128手势数据集上进行了测试，并分析了其在不同网络结构和分数阶下的准确性。结果表明，分类精度随着分数阶的增加而提高，特别是分数阶为1.9的情况相对于分数阶为1(传统梯度下降)的情况提高了155%。此外，我们的方案在相同的SNN结构和训练周期下，展示了最先进的计算效率。

🔬 方法详解

问题定义：现有的脉冲神经网络(SNNs)的监督学习方法，难以有效地利用脉冲时序依赖可塑性(STDP)进行训练。传统的反向传播算法在SNNs中应用时，无法很好地处理脉冲的离散性和不可微性，导致学习效率低下。因此，如何设计一种能够有效利用STDP特性，并适用于SNNs训练的梯度下降算法是一个关键问题。

核心思路：本文的核心思路是将分数阶梯度下降方法引入到SNNs的训练中。通过使用分数阶导数，可以更精细地控制学习过程，从而更好地利用STDP特性。此外，论文还推导了一个非线性激活函数，该函数描述了神经元的瞬时放电率和膜电位之间的关系，使得梯度计算更加准确。

技术框架：该方法主要包含以下几个步骤：首先，构建一个多层SNN，其中神经元采用非泄漏积分-放电模型。然后，根据神经元的膜电位和放电率之间的关系，推导出一个非线性激活函数。接着，利用分数阶梯度下降方法计算损失函数对网络权重的梯度。最后，根据计算得到的梯度更新网络权重。整个框架的关键在于分数阶导数的计算和非线性激活函数的选择。

关键创新：该方法最重要的创新点在于将分数阶梯度下降方法引入到SNNs的训练中。与传统的整数阶梯度下降相比，分数阶梯度下降可以更精细地控制学习过程，从而更好地利用STDP特性。此外，论文还推导了一个非线性激活函数，该函数描述了神经元的瞬时放电率和膜电位之间的关系，使得梯度计算更加准确。

关键设计：论文中关键的设计包括：1) 分数阶导数的计算方法，采用了Grunwald-Letnikov定义；2) 非线性激活函数的选择，该函数需要能够准确地描述神经元的瞬时放电率和膜电位之间的关系；3) 损失函数的选择，采用了交叉熵损失函数；4) 网络结构的设计，采用了多层前馈网络结构。

📊 实验亮点

实验结果表明，所提出的FO-STDGD模型在MNIST和DVS128手势数据集上取得了显著的性能提升。在MNIST数据集上，该模型达到了较高的分类精度。在DVS128手势数据集上，分数阶为1.9时，分类精度相对于分数阶为1（传统梯度下降）的情况提高了155%。这表明分数阶梯度下降能够更有效地训练SNNs，并提升其在时序数据上的学习能力。

🎯 应用场景

该研究成果可应用于类脑计算、神经形态工程等领域，尤其是在需要处理时序信息的场景下，如语音识别、手势识别、时间序列预测等。通过利用SNNs的低功耗和高效信息编码能力，可以开发出更节能、更高效的智能系统，例如用于边缘计算的智能传感器和机器人。

📄 摘要（原文）

Accumulated detailed knowledge about the neuronal activities in human brains has brought more attention to bio-inspired spiking neural networks (SNNs). In contrast to non-spiking deep neural networks (DNNs), SNNs can encode and transmit spatiotemporal information more efficiently by exploiting biologically realistic and low-power event-driven neuromorphic architectures. However, the supervised learning of SNNs still remains a challenge because the spike-timing-dependent plasticity (STDP) of connected spiking neurons is difficult to implement and interpret in existing backpropagation learning schemes. This paper proposes a fractional-order spike-timing-dependent gradient descent (FO-STDGD) learning model by considering a derived nonlinear activation function that describes the relationship between the quasi-instantaneous firing rate and the temporal membrane potentials of nonleaky integrate-and-fire neurons. The training strategy can be generalized to any fractional orders between 0 and 2 since the FO-STDGD incorporates the fractional gradient descent method into the calculation of spike-timing-dependent loss gradients. The proposed FO-STDGD model is tested on the MNIST and DVS128 Gesture datasets and its accuracy under different network structure and fractional orders is analyzed. It can be found that the classification accuracy increases as the fractional order increases, and specifically, the case of fractional order 1.9 improves by 155% relative to the case of fractional order 1 (traditional gradient descent). In addition, our scheme demonstrates the state-of-the-art computational efficacy for the same SNN structure and training epochs.