STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks

📄 arXiv: 2411.11082v2 📥 PDF

作者: Haoran Gao, Xichuan Zhou, Yingcheng Lin, Min Tian, Liyuan Liu, Cong Shi

分类: cs.NE, cs.CV

发布日期: 2024-11-17 (更新: 2024-11-27)

备注: 13 pages (exclude supplementary), 5 figures

💡 一句话要点

提出时空正交传播(STOP)算法，用于权重-阈值-泄漏协同训练深度脉冲神经网络，提升边缘计算场景下的能效和精度。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 脉冲神经网络 时空正交传播 边缘计算 协同训练 权重阈值泄漏学习

📋 核心要点

  1. 现有深度SNN训练算法效率和精度不足，难以满足资源受限的边缘计算需求，阻碍了SNN的实际部署。
  2. 提出时空正交传播(STOP)算法，通过协同学习突触权重、阈值和泄漏因子，优化SNN性能，并减少内存需求。
  3. 在CIFAR-10等数据集上，STOP算法取得了显著的识别精度提升，验证了其在边缘智能场景下的有效性。

📝 摘要（中文）

人工智能物联网的普及对更高能效的边缘计算范式提出了需求，例如利用基于时空稀疏二元脉冲的脑启发式脉冲神经网络(SNN)模型。然而，缺乏高效和高精度的深度SNN学习算法阻碍了它们在严格受限成本下的实际边缘部署。本文提出了时空正交传播(STOP)算法来应对这一挑战。我们的算法实现了脉冲神经元中突触权重、激发阈值和泄漏因子的完全协同学习，以提高SNN的准确性，并在统一的、基于时间前向轨迹的框架中减轻了在前向传递中存储所有时间步长的神经状态所带来的巨大内存需求。其特征在于，空间后向神经元误差和时间前向轨迹彼此正交且独立地传播，从而大大降低了计算复杂度。我们的STOP算法在具有足够深度卷积SNN（VGG-11或ResNet-18结构）的CIFAR-10、CIFAR-100、DVS-Gesture和DVS-CIFAR10数据集上获得了94.84%、74.92%、98.26%和77.10%的高识别精度。与其他深度SNN训练算法相比，我们的方法更适用于资源有限但需要高精度原位学习的边缘智能场景。

🔬 方法详解

问题定义：论文旨在解决深度脉冲神经网络（SNN）训练中效率和精度难以兼顾的问题。现有的SNN训练方法通常面临计算复杂度高、内存需求大，以及难以有效优化神经元参数（如阈值和泄漏因子）等挑战，导致SNN难以在资源受限的边缘设备上部署。

核心思路：论文的核心思路是提出一种时空正交传播（STOP）算法，该算法通过将空间后向误差传播和时间前向轨迹计算解耦，实现计算复杂度的降低。同时，STOP算法能够协同学习突触权重、神经元阈值和泄漏因子，从而更全面地优化SNN的性能。这种协同优化旨在提升SNN的表达能力和泛化性能。

技术框架：STOP算法的技术框架主要包括以下几个阶段：1) 前向传播阶段：基于时间前向轨迹计算神经元的状态，避免存储所有时间步长的神经状态，从而降低内存需求。2) 后向传播阶段：计算空间后向神经元误差，并将其与时间前向轨迹正交传播，降低计算复杂度。3) 参数更新阶段：基于计算得到的梯度，协同更新突触权重、神经元阈值和泄漏因子。

关键创新：STOP算法的关键创新在于其时空正交传播机制。通过将空间后向误差传播和时间前向轨迹计算解耦，算法能够显著降低计算复杂度，并实现更高效的梯度计算。此外，STOP算法还创新性地实现了突触权重、神经元阈值和泄漏因子的协同学习，从而更全面地优化SNN的性能。与现有方法相比，STOP算法在计算效率和优化效果上均具有显著优势。

关键设计：STOP算法的关键设计包括：1) 时间前向轨迹计算方法，用于降低内存需求。2) 空间后向误差传播方法，用于高效计算梯度。3) 突触权重、神经元阈值和泄漏因子的协同学习策略，用于全面优化SNN性能。具体的损失函数和网络结构采用了VGG-11或ResNet-18等常见的深度卷积神经网络结构，并根据SNN的特点进行了调整。

📊 实验亮点

STOP算法在CIFAR-10数据集上取得了94.84%的识别精度，在CIFAR-100数据集上取得了74.92%的识别精度，在DVS-Gesture数据集上取得了98.26%的识别精度，在DVS-CIFAR10数据集上取得了77.10%的识别精度。这些结果表明，STOP算法在多个数据集上均取得了显著的性能提升，验证了其有效性。

🎯 应用场景

该研究成果可应用于各种边缘智能场景，例如智能监控、自动驾驶、机器人等。通过在资源受限的边缘设备上部署高效且高精度的SNN，可以实现更快速、更节能的本地数据处理和决策，从而提高系统的实时性和可靠性。此外，该研究还有助于推动类脑计算的发展，为构建更智能、更高效的人工智能系统奠定基础。

📄 摘要（原文）

The prevailing of artificial intelligence-of-things calls for higher energy-efficient edge computing paradigms, such as neuromorphic agents leveraging brain-inspired spiking neural network (SNN) models based on spatiotemporally sparse binary spikes. However, the lack of efficient and high-accuracy deep SNN learning algorithms prevents them from practical edge deployments at a strictly bounded cost. In this paper, we propose the spatiotemporal orthogonal propagation (STOP) algorithm to tackle this challenge. Our algorithm enables fully synergistic learning of synaptic weights as well as firing thresholds and leakage factors in spiking neurons to improve SNN accuracy, in a unified temporally-forward trace-based framework to mitigate the huge memory requirement for storing neural states across all time-steps in the forward pass. Characteristically, the spatially-backward neuronal errors and temporally-forward traces propagate orthogonally to and independently of each other, substantially reducing computational complexity. Our STOP algorithm obtained high recognition accuracies of 94.84%, 74.92%, 98.26% and 77.10% on the CIFAR-10, CIFAR-100, DVS-Gesture and DVS-CIFAR10 datasets with adequate deep convolutional SNNs of VGG-11 or ResNet-18 structures. Compared with other deep SNN training algorithms, our method is more plausible for edge intelligent scenarios where resources are limited but high-accuracy in-situ learning is desired.