DeMa: Dual-Path Delay-Aware Mamba for Efficient Multivariate Time Series Analysis

📄 arXiv: 2601.05527v1 📥 PDF

作者: Rui An, Haohao Qu, Wenqi Fan, Xuequn Shang, Qing Li

分类: cs.LG, cs.AI

发布日期: 2026-01-09

备注: Under review

💡 一句话要点

提出DeMa：双路径延迟感知Mamba模型，高效处理多元时间序列分析任务

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多元时间序列分析 Mamba模型 序列建模 延迟感知 线性注意力

📋 核心要点

  1. 现有Transformer模型在多元时间序列分析中计算复杂度高、内存开销大，限制了其在大规模场景下的应用。
  2. DeMa通过双路径结构，分别建模序列内时间动态和序列间交互，并引入延迟感知机制，提升Mamba模型在MTS任务中的性能。
  3. 实验结果表明，DeMa在多个MTS任务上取得了SOTA性能，同时保持了较高的计算效率，优于现有方法。

📝 摘要（中文）

准确且高效的多元时间序列（MTS）分析在各种智能应用中变得越来越重要。Transformer凭借其强大的成对依赖关系捕获能力，已成为该领域的主导架构。然而，基于Transformer的模型存在二次计算复杂度和高内存开销的问题，限制了它们在长期和大规模MTS建模中的可扩展性和实际部署。最近，Mamba作为一种具有高表达能力的线性时间替代方案出现。然而，由于三个关键限制，直接将原始Mamba应用于MTS仍然不是最优的：(i) 缺乏显式的跨变量建模，(ii) 难以解开纠缠的序列内时间动态和序列间交互，以及(iii) 对潜在时滞交互效应的建模不足。这些问题限制了其在各种MTS任务中的有效性。为了应对这些挑战，我们提出了DeMa，一种双路径延迟感知Mamba骨干网络。DeMa保留了Mamba的线性复杂度优势，同时大大提高了其对MTS环境的适用性。具体来说，DeMa引入了三个关键创新：(i) 它将MTS分解为序列内时间动态和序列间交互；(ii) 它开发了一个具有Mamba-SSD模块的时间路径，以捕获每个单独序列中的长程动态，从而实现序列独立的并行计算；以及(iii) 它设计了一个具有Mamba-DALA模块的变量路径，该模块集成了延迟感知线性注意力来建模跨变量依赖关系。在五个代表性任务（长短期预测、数据插补、异常检测和序列分类）上的大量实验表明，DeMa在实现最先进性能的同时，提供了卓越的计算效率。

🔬 方法详解

问题定义：论文旨在解决多元时间序列（MTS）分析中，现有Transformer模型计算复杂度高、内存开销大，以及直接应用Mamba模型时缺乏跨变量建模、难以解耦序列内和序列间动态、时滞交互建模不足的问题。这些问题限制了模型在长期和大规模MTS任务中的应用。

核心思路：论文的核心思路是将MTS分解为序列内时间动态和序列间交互，分别使用不同的Mamba模块进行建模。通过这种解耦，可以更好地捕捉MTS的复杂依赖关系，并提高模型的效率和准确性。同时，引入延迟感知机制，增强模型对时滞交互效应的建模能力。

技术框架：DeMa模型采用双路径结构，包括时间路径和变量路径。时间路径使用Mamba-SSD模块，独立并行地处理每个序列，捕捉序列内的长程时间动态。变量路径使用Mamba-DALA模块，通过延迟感知线性注意力机制建模序列间的依赖关系。两个路径的输出进行融合，得到最终的预测结果。

关键创新：DeMa的关键创新在于：(1) 将MTS分解为序列内和序列间动态，分别建模；(2) 提出Mamba-SSD模块，实现序列独立的并行计算，提高效率；(3) 设计Mamba-DALA模块，集成延迟感知线性注意力，增强对时滞交互效应的建模能力。与现有方法相比，DeMa在保持线性复杂度的同时，显著提升了MTS分析的性能。

关键设计：Mamba-SSD模块的具体结构未知，但其目标是高效捕捉序列内的长程依赖。Mamba-DALA模块的关键在于延迟感知线性注意力的设计，具体实现细节未知，但其目的是建模序列间的时滞交互效应。损失函数和参数设置等细节在论文中可能有所描述，但摘要中未提及。

📊 实验亮点

DeMa在五个代表性任务（长短期预测、数据插补、异常检测和序列分类）上进行了广泛的实验。实验结果表明，DeMa在所有任务上都取得了state-of-the-art的性能，并且具有显著的计算效率优势。具体的性能提升幅度和对比基线在摘要中未给出，需要在论文中查找。

🎯 应用场景

DeMa模型可广泛应用于智能交通、金融市场分析、工业生产监控、医疗健康等领域。通过准确预测和分析多元时间序列数据，可以帮助用户做出更明智的决策，提高运营效率，降低风险。例如，在智能交通中，可以预测交通流量，优化路线规划；在金融市场分析中，可以预测股票价格，辅助投资决策；在工业生产监控中，可以检测异常，预防设备故障。

📄 摘要（原文）

Accurate and efficient multivariate time series (MTS) analysis is increasingly critical for a wide range of intelligent applications. Within this realm, Transformers have emerged as the predominant architecture due to their strong ability to capture pairwise dependencies. However, Transformer-based models suffer from quadratic computational complexity and high memory overhead, limiting their scalability and practical deployment in long-term and large-scale MTS modeling. Recently, Mamba has emerged as a promising linear-time alternative with high expressiveness. Nevertheless, directly applying vanilla Mamba to MTS remains suboptimal due to three key limitations: (i) the lack of explicit cross-variate modeling, (ii) difficulty in disentangling the entangled intra-series temporal dynamics and inter-series interactions, and (iii) insufficient modeling of latent time-lag interaction effects. These issues constrain its effectiveness across diverse MTS tasks. To address these challenges, we propose DeMa, a dual-path delay-aware Mamba backbone. DeMa preserves Mamba's linear-complexity advantage while substantially improving its suitability for MTS settings. Specifically, DeMa introduces three key innovations: (i) it decomposes the MTS into intra-series temporal dynamics and inter-series interactions; (ii) it develops a temporal path with a Mamba-SSD module to capture long-range dynamics within each individual series, enabling series-independent, parallel computation; and (iii) it designs a variate path with a Mamba-DALA module that integrates delay-aware linear attention to model cross-variate dependencies. Extensive experiments on five representative tasks, long- and short-term forecasting, data imputation, anomaly detection, and series classification, demonstrate that DeMa achieves state-of-the-art performance while delivering remarkable computational efficiency.