Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

📄 arXiv: 2406.04320v1 📥 PDF

作者: Ali Behrouz, Michele Santacatterina, Ramin Zabih

分类: cs.LG, cs.AI

发布日期: 2024-06-06

💡 一句话要点

Chimera：利用二维状态空间模型有效建模多元时间序列

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多元时间序列建模 状态空间模型 二维状态空间模型 深度学习 时间序列预测 异常检测 并行计算

📋 核心要点

  1. 现有状态空间模型（SSM）难以捕捉非线性依赖，计算效率低，且无法有效建模多元时间序列中变量间的信息流动。
  2. Chimera利用两个输入相关的二维SSM头，通过不同的离散化过程学习长期演变和季节性模式，从而提升模型表达能力。
  3. Chimera在心电图分类、语音识别、时间序列预测和异常检测等任务上表现优异，证明了其有效性。

📝 摘要（中文）

多元时间序列建模是一个成熟的问题，在医疗保健和金融市场等领域有着广泛的应用。传统的状态空间模型（SSM）是单变量时间序列建模的经典方法，因其简单性和表示线性依赖关系的能力而备受青睐。然而，它们在捕捉非线性依赖关系方面存在根本性的局限性，在实践中速度较慢，并且无法对变量间的信息流进行建模。尽管最近尝试通过使用深度结构化SSM来提高SSM的表达能力，但现有方法要么仅限于单变量时间序列，要么无法对复杂模式（例如，季节性模式）进行建模，要么无法动态地对变量和时间维度的依赖关系进行建模，或者与输入无关。我们提出了Chimera，它使用两个输入相关的二维SSM头，采用不同的离散化过程来学习长期演变和季节性模式。为了提高复杂二维递归的效率，我们提出了一种使用新型二维并行选择性扫描的快速训练方法。我们进一步提出并讨论了二维Mamba和Mamba-2作为我们二维SSM的特例。我们的实验评估表明，Chimera在广泛而多样的基准测试中表现出色，包括心电图和语音时间序列分类、长期和短期时间序列预测以及时间序列异常检测。

🔬 方法详解

问题定义：论文旨在解决多元时间序列建模问题，现有方法，特别是传统状态空间模型（SSM）及其变体，在处理非线性依赖、变量间关系以及计算效率方面存在不足。现有深度结构化SSM要么仅限于单变量时间序列，要么无法捕捉复杂的时间模式，要么无法动态建模变量和时间维度之间的依赖关系，或者与输入无关。

核心思路：Chimera的核心思路是利用二维状态空间模型（2D SSM）来同时建模时间和变量维度上的依赖关系。通过使用两个输入相关的2D SSM头，分别学习长期演变和季节性模式，从而更全面地捕捉时间序列的复杂动态。这种二维建模方式允许模型动态地学习变量和时间维度之间的依赖关系，并根据输入进行调整。

技术框架：Chimera模型包含两个主要的2D SSM头，每个头负责学习不同的时间序列模式。这两个头都接收输入数据，并使用不同的离散化过程将输入转换为状态空间表示。然后，模型使用2D递归来更新状态，并生成预测。为了提高计算效率，论文提出了一种新的二维并行选择性扫描方法。此外，论文还讨论了2D Mamba和Mamba-2作为Chimera的特例。

关键创新：Chimera的关键创新在于其二维状态空间建模方法，能够同时捕捉时间和变量维度上的依赖关系。此外，论文提出的二维并行选择性扫描方法显著提高了复杂二维递归的计算效率。将输入依赖性引入2D SSM，使得模型能够根据输入动态调整其行为，从而更好地适应不同的时间序列模式。

关键设计：Chimera使用两个2D SSM头，每个头采用不同的离散化过程。具体离散化方法未知，但目的是为了分别学习长期演变和季节性模式。论文提出了二维并行选择性扫描方法，具体实现细节未知，但其目的是加速2D递归的计算。论文还讨论了2D Mamba和Mamba-2作为Chimera的特例，这表明Chimera可以与不同的状态空间模型架构相结合。损失函数和网络结构等具体细节未在摘要中详细说明，属于未知信息。

📊 实验亮点

Chimera在心电图和语音时间序列分类、长期和短期时间序列预测以及时间序列异常检测等多个任务上取得了优于现有方法的性能。具体的性能提升数据未在摘要中给出，但强调了Chimera在广泛而多样的基准测试中的优越性，表明其具有良好的泛化能力。

🎯 应用场景

Chimera在医疗、金融等领域具有广泛的应用前景。例如，在医疗领域，可用于心电图分析、疾病预测和患者监护；在金融领域，可用于股票价格预测、风险评估和异常交易检测。该研究有望提升时间序列分析的准确性和效率，为相关领域的决策提供更可靠的依据。

📄 摘要（原文）

Modeling multivariate time series is a well-established problem with a wide range of applications from healthcare to financial markets. Traditional State Space Models (SSMs) are classical approaches for univariate time series modeling due to their simplicity and expressive power to represent linear dependencies. They, however, have fundamentally limited expressive power to capture non-linear dependencies, are slow in practice, and fail to model the inter-variate information flow. Despite recent attempts to improve the expressive power of SSMs by using deep structured SSMs, the existing methods are either limited to univariate time series, fail to model complex patterns (e.g., seasonal patterns), fail to dynamically model the dependencies of variate and time dimensions, and/or are input-independent. We present Chimera that uses two input-dependent 2-D SSM heads with different discretization processes to learn long-term progression and seasonal patterns. To improve the efficiency of complex 2D recurrence, we present a fast training using a new 2-dimensional parallel selective scan. We further present and discuss 2-dimensional Mamba and Mamba-2 as the spacial cases of our 2D SSM. Our experimental evaluation shows the superior performance of Chimera on extensive and diverse benchmarks, including ECG and speech time series classification, long-term and short-term time series forecasting, and time series anomaly detection.