Model- and Layer-Level Closed-Loop Forecasting with SSM-Based Spiking Neural Networks

📄 arXiv: 2610.28495v1 📥 PDF

作者: Erik Stolt, Sanja Karilanova, Ayca Ozcelikkale

分类: cs.LG, cs.AI

发布日期: 2026-10-20

💡 一句话要点

提出闭环预测策略以解决SNN时间序列预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 时间序列预测 闭环预测 深度状态空间模型 自回归方法 机器学习 数据处理

📋 核心要点

  1. 现有脉冲神经网络在时间序列预测中面临的主要挑战是需要在预测阶段使用不可用的过去值。
  2. 本文提出了两种闭环预测策略，通过将网络生成的值反馈作为过去观察值，解决了SNNs的自回归数据处理问题。
  3. 实验结果表明，提出的方法在ETT-small数据集上与最先进的SpaceTime方法相当，且在大多数情况下优于S4的零掩蔽基线。

📝 摘要（中文）

深度状态空间模型（Deep SSMs）在处理具有复杂时间依赖性的时间序列数据方面表现出色。脉冲神经网络（SNNs）作为一种生物启发的深度SSM，通过脉冲而非连续激活函数进行计算。时间序列预测是一个重要任务，但现有SNNs在预测阶段需要的值往往不可用。本文提出了两种闭环预测策略：模型级和层级闭环预测，利用网络自身生成的值作为输入。通过在ETT-small数据集上的评估，提出的方法在性能上与最先进的方法相当，展示了深度SSM架构在预测中的竞争力。

🔬 方法详解

问题定义：本文旨在解决脉冲神经网络（SNNs）在时间序列预测中自回归数据处理的局限性，尤其是在预测阶段需要的过去值不可用的问题。

核心思路：提出模型级和层级闭环预测策略，通过将网络自身生成的预测值反馈给网络，模拟过去观察值，从而实现有效的时间序列预测。

技术框架：整体架构包括两个主要模块：模型级闭环和层级闭环预测。模型级闭环直接将生成的值反馈至模型输入，而层级闭环则在网络的不同层之间进行反馈。

关键创新：最重要的创新在于提出了闭环预测策略，允许SNNs在缺乏真实过去值的情况下进行有效预测，这与传统的自回归方法有本质区别。

关键设计：在实验中使用了ETT-small数据集，采用了脉冲和连续激活函数两种不同的激活方式，比较了提出的方法与现有的SpaceTime和S4零掩蔽基线的性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，提出的闭环预测方法在ETT-small数据集上与最先进的SpaceTime方法性能相当，且在大多数情况下优于S4的零掩蔽基线，展示了在连续激活与低比特量化激活之间的权衡。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象数据分析和智能制造等时间序列数据处理场景。通过提高脉冲神经网络在时间序列预测中的有效性，能够为相关领域提供更准确的预测工具，进而推动智能决策的实现。

📄 摘要（原文）

Deep State-Space Models (Deep SSMs) have shown promising performance and computational benefits in processing of time-series data with complex temporal dependencies. Spiking neural networks (SNNs) constitute a biologically inspired class of deep SSMs, where computing blocks communicate through spikes, discrete single-bit events rather than continuous activation functions. A particularly important task in time-series processing is forecasting, i.e. predicting future values of a sequence from past observations alone. However, how to best perform forecasting with SNNs is an open question, where the standard autoregressive nature of the data processing with SNNs requires values that are not available during the forecasting phase. In this article, we address this challenge. We explore two closed-loop forecasting strategies, in which the network's own generated values are fed back into the network as if they were observed past values: (i) model-level and (ii) layer-level closed-loop forecasting. We evaluate these approaches on the ETT-small datasets, a standard benchmark for time-series forecasting, under both spike-based and continuous activation functions. We compare the proposed closed-loop approaches against state-of-the-art methods such as SpaceTime, as well as the zero-masking baseline in S4. Both of the proposed approaches perform comparably to or better than zero-masking with S4, and in most cases match SpaceTime. These findings highlight the trade-off between continuous and low-bit quantized activations, and demonstrate that the proposed Deep SSM architectures provide a competitive framework for forecasting.