ASGMamba: Adaptive Spectral Gating Mamba for Multivariate Time Series Forecasting

📄 arXiv: 2602.01668v1 📥 PDF

作者: Qianyang Li, Xingjun Zhang, Shaoxun Wang, Jia Wei, Yueqi Xing

分类: cs.LG, cs.AI

发布日期: 2026-02-02

🔗 代码/项目: GITHUB


💡 一句话要点

提出ASGMamba,通过自适应频谱门控Mamba实现高效多元时间序列预测

🎯 匹配领域: 支柱二:RL算法与架构 (RL & Architecture)

关键词: 多元时间序列预测 长程预测 状态空间模型 Mamba 自适应频谱门控

📋 核心要点

  1. 现有Transformer模型在长序列预测中计算复杂度高,而线性SSM模型难以有效区分噪声,导致性能瓶颈。
  2. ASGMamba通过自适应频谱门控机制动态过滤噪声,使Mamba模型专注于关键时间动态,提升预测精度。
  3. 实验结果表明,ASGMamba在多个基准测试中达到SOTA,并在长程预测任务中显著降低了内存占用。

📝 摘要(中文)

长程多元时间序列预测(LTSF)在高性能计算应用中至关重要,如实时能源网格管理和大规模交通流模拟。现有方法面临困境:基于Transformer的模型复杂度呈平方增长,限制了其在长序列上的扩展性;线性状态空间模型(SSM)难以区分高频噪声中的有效信号,导致状态容量浪费。为解决此问题,我们提出了ASGMamba,一种为资源受限的超级计算环境设计的高效预测框架。ASGMamba集成了轻量级的自适应频谱门控(ASG)机制,动态过滤基于局部频谱能量的噪声,使Mamba主干网络能够专注于鲁棒的时间动态。此外,我们引入了具有变量特定节点嵌入的分层多尺度架构,以捕获不同的物理特性。在九个基准测试上的大量实验表明,ASGMamba实现了最先进的准确性。在保持严格$$\mathcal{O}(L)$$复杂度的同时,我们显著降低了长程任务上的内存使用,从而使ASGMamba成为资源受限环境中高吞吐量预测的可扩展解决方案。

🔬 方法详解

问题定义:论文旨在解决长程多元时间序列预测(LTSF)问题。现有基于Transformer的模型在处理长序列时面临计算复杂度过高的问题(平方复杂度),而线性状态空间模型(SSM)则难以有效区分高频噪声,导致模型性能下降和资源浪费。

核心思路:论文的核心思路是利用自适应频谱门控(ASG)机制,在Mamba模型中动态地过滤掉噪声,从而使模型能够专注于学习鲁棒的时间动态。通过这种方式,既能保持Mamba模型的线性复杂度,又能提高模型对关键信息的提取能力。

技术框架:ASGMamba的整体架构包含以下几个主要模块:1) 变量特定的节点嵌入(Node Embeddings),用于捕获不同时间序列的物理特性;2) 分层多尺度架构,用于处理不同时间尺度上的信息;3) 自适应频谱门控(ASG)机制,用于动态过滤噪声;4) Mamba主干网络,用于进行时间序列建模和预测。整个流程是先通过节点嵌入和多尺度架构提取特征,然后利用ASG机制过滤噪声,最后通过Mamba网络进行预测。

关键创新:论文最关键的创新点在于提出了自适应频谱门控(ASG)机制。与传统的固定阈值滤波方法不同,ASG机制能够根据局部频谱能量动态地调整滤波强度,从而更有效地去除噪声,保留关键的时间动态信息。这种自适应性使得模型能够更好地适应不同的时间序列数据。

关键设计:ASG机制的关键设计在于如何计算局部频谱能量并将其用于门控。具体来说,ASG首先对输入信号进行短时傅里叶变换(STFT),然后计算每个频率分量的能量。接着,使用一个可学习的门控函数,根据局部频谱能量来调整Mamba模型的输入。此外,论文还使用了变量特定的节点嵌入,以捕获不同时间序列的物理特性。损失函数采用常用的均方误差(MSE)。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ASGMamba在九个基准测试数据集上取得了state-of-the-art的预测精度。在长程预测任务中,ASGMamba在保持线性复杂度的同时,显著降低了内存占用,优于现有的Transformer和SSM模型。具体性能提升数据在论文中给出,表明ASGMamba在资源受限环境中具有显著优势。

🎯 应用场景

ASGMamba在多个领域具有广泛的应用前景,例如智能电网的实时能源管理、大规模交通流量预测、金融市场分析和气候变化预测等。该研究成果能够帮助相关领域更准确地预测未来趋势,从而做出更明智的决策,提高资源利用效率,并降低潜在风险。尤其是在资源受限的超级计算环境中,ASGMamba的高效性和可扩展性使其成为一种理想的解决方案。

📄 摘要(原文)

Long-term multivariate time series forecasting (LTSF) plays a crucial role in various high-performance computing applications, including real-time energy grid management and large-scale traffic flow simulation. However, existing solutions face a dilemma: Transformer-based models suffer from quadratic complexity, limiting their scalability on long sequences, while linear State Space Models (SSMs) often struggle to distinguish valuable signals from high-frequency noise, leading to wasted state capacity. To bridge this gap, we propose ASGMamba, an efficient forecasting framework designed for resource-constrained supercomputing environments. ASGMamba integrates a lightweight Adaptive Spectral Gating (ASG) mechanism that dynamically filters noise based on local spectral energy, enabling the Mamba backbone to focus its state evolution on robust temporal dynamics. Furthermore, we introduce a hierarchical multi-scale architecture with variable-specific Node Embeddings to capture diverse physical characteristics. Extensive experiments on nine benchmarks demonstrate that ASGMamba achieves state-of-the-art accuracy. While keeping strictly $$\mathcal{O}(L)$$ complexity we significantly reduce the memory usage on long-horizon tasks, thus establishing ASGMamba as a scalable solution for high-throughput forecasting in resource limited environments.The code is available at https://github.com/hit636/ASGMamba