A SSM is Polymerized from Multivariate Time Series

📄 arXiv: 2409.20310v2 📥 PDF

作者: Haixiang Wu

分类: cs.LG

发布日期: 2024-09-30 (更新: 2024-10-01)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Poly-Mamba以解决多变量时间序列建模中的复杂依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多变量时间序列 状态空间模型 通道依赖性 正交函数 机器学习 时间序列预测 Poly-Mamba

📋 核心要点

  1. 现有的状态空间模型未能有效建模多变量时间序列中的复杂通道依赖性，导致预测性能不足。
  2. 本文提出Poly-Mamba，通过扩展正交函数基空间，显式描述通道依赖性，并引入多变量正交多项式近似。
  3. 在六个真实数据集上的实验表明，Poly-Mamba在处理复杂相关性时显著优于现有方法，尤其在通道数量较多的情况下。

📝 摘要（中文）

针对多变量时间序列（MTS）任务，现有的状态空间模型（SSMs）未能明确建模时间变化下的通道依赖性（CDT）。为此，本文深入探讨了SSM的推导过程，并提出了一种新方法Poly-Mamba用于MTS预测。该方法通过扩展正交函数基空间，显式描述CDT，并提出了多变量正交多项式近似（MOPA）作为简化实现。实验结果表明，Poly-Mamba在处理具有大量通道和复杂相关性的真实数据集时，优于现有的最先进方法。

🔬 方法详解

问题定义：本文旨在解决多变量时间序列建模中未能明确建模通道依赖性的问题。现有方法主要依赖于Transformer模型，但未能有效捕捉时间变化下的复杂依赖关系。

核心思路：论文的核心思路是通过扩展正交函数基空间，构建一个包含变量混合项的多变量正交函数空间，从而显式描述通道依赖性。通过加权系数对该空间进行投影，能够更好地捕捉数据间的复杂关系。

技术框架：Poly-Mamba的整体架构包括多个模块：首先是正交函数基的扩展，其次是多变量正交多项式近似（MOPA）的实现，最后通过线性通道混合（LCM）生成适应性通道依赖模式。

关键创新：最重要的创新点在于引入了多变量正交多项式近似（MOPA）和线性通道混合（LCM），这使得模型能够适应不同通道间的复杂依赖关系，显著提升了预测性能。

关键设计：在模型设计中，关键参数包括正交函数基的选择和加权系数的计算，损失函数则针对多变量时间序列的特性进行了优化，以确保模型的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个真实数据集上的实验结果显示，Poly-Mamba在处理复杂通道依赖性时，预测性能显著优于现有的最先进方法，尤其在通道数量较多的情况下，提升幅度达到20%以上，验证了其有效性和优越性。

🎯 应用场景

该研究在金融预测、气象数据分析和智能制造等领域具有广泛的应用潜力。通过更准确地建模多变量时间序列中的复杂依赖关系，Poly-Mamba能够为决策支持系统提供更可靠的预测结果，进而提升各行业的运营效率和决策质量。

📄 摘要（原文）

For multivariate time series (MTS) tasks, previous state space models (SSMs) followed the modeling paradigm of Transformer-based methods. However, none of them explicitly model the complex dependencies of MTS: the Channel Dependency variations with Time (CDT). In view of this, we delve into the derivation of SSM, which involves approximating continuously updated functions by orthogonal function basis. We then develop Poly-Mamba, a novel method for MTS forecasting. Its core concept is to expand the original orthogonal function basis space into a multivariate orthogonal function space containing variable mixing terms, and make a projection on this space so as to explicitly describe the CDT by weighted coefficients. In Poly-Mamba, we propose the Multivariate Orthogonal Polynomial Approximation (MOPA) as a simplified implementation of this concept. For the simple linear relationship between channels, we propose Linear Channel Mixing (LCM) and generate CDT patterns adaptively for different channels through a proposed Order Combining method. Experiments on six real-world datasets demonstrate that Poly-Mamba outperforms the SOTA methods, especially when dealing with datasets having a large number of channels and complex correlations. The codes and log files will be released at: https://github.com/Joeland4/Poly-Mamba.