AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

📄 arXiv: 2502.10235v1 📥 PDF

作者: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

分类: stat.ML, cs.LG

发布日期: 2025-02-14

🔗 代码/项目: GITHUB

💡 一句话要点

AdaPTS：通过适配器将单变量预训练模型应用于概率多变量时间序列预测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多变量时间序列预测 预训练模型 适配器 迁移学习 不确定性量化

📋 核心要点

  1. 现有方法难以有效处理多变量时间序列中复杂的特征依赖关系，并且在预测不确定性量化方面存在不足。
  2. AdaPTS通过引入适配器，将多变量输入投影到潜在空间，并独立地将预训练的单变量模型应用于每个维度，从而实现多变量时间序列预测。
  3. 实验结果表明，AdaPTS在预测精度和不确定性量化方面均优于现有基线方法，验证了适配器的有效性。

📝 摘要（中文）

预训练的foundation模型(FMs)在单变量时间序列预测任务中表现出卓越的性能。然而，仍然存在一些实际挑战，包括管理特征之间复杂的依赖关系以及量化预测中的不确定性。本研究旨在通过引入适配器来解决这些关键限制；适配器是一种特征空间转换，有助于有效地利用预训练的单变量时间序列FMs进行多变量任务。适配器通过将多变量输入投影到合适的潜在空间，并独立地将FM应用于每个维度来工作。受到表征学习和部分随机贝叶斯神经网络文献的启发，我们提出了一系列适配器和优化/推理策略。在合成和真实数据集上进行的实验证实了适配器的有效性，与基线方法相比，在预测精度和不确定性量化方面都表现出显着提升。我们的框架AdaPTS将适配器定位为一种模块化、可扩展且有效的解决方案，用于在多变量上下文中利用时间序列FM，从而促进其在实际应用中的更广泛采用。我们在https://github.com/abenechehab/AdaPTS发布了代码。

🔬 方法详解

问题定义：论文旨在解决多变量时间序列预测问题，现有方法难以有效利用预训练的单变量时间序列模型，并且在处理特征间依赖关系和量化预测不确定性方面存在不足。这些痛点限制了预训练模型在实际多变量时间序列预测中的应用。

核心思路：论文的核心思路是利用适配器（Adapters）将多变量时间序列数据转换到适合单变量预训练模型处理的潜在空间。通过这种方式，可以充分利用单变量预训练模型的强大能力，同时解决多变量时间序列的复杂性。

技术框架：AdaPTS框架主要包含以下几个阶段：1) 多变量输入数据通过适配器进行特征空间转换，投影到潜在空间。2) 预训练的单变量时间序列模型独立应用于潜在空间的每个维度。3) 对每个维度的预测结果进行整合，得到最终的多变量时间序列预测结果。框架支持多种适配器和优化/推理策略。

关键创新：该方法最重要的创新点在于适配器的设计和应用。适配器作为桥梁，连接了单变量预训练模型和多变量时间序列数据，使得可以有效地利用单变量预训练模型的知识来解决多变量时间序列预测问题。与现有方法相比，AdaPTS无需从头训练多变量模型，而是通过适配器进行迁移学习，大大降低了训练成本。

关键设计：适配器的具体设计包括多种类型，例如线性投影、非线性映射等。优化策略包括不同的损失函数和正则化方法，以提高预测精度和不确定性量化能力。论文还探索了不同的推理策略，例如蒙特卡洛dropout等，以更好地估计预测的不确定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AdaPTS在合成数据集和真实数据集上均取得了显著的性能提升。与基线方法相比，AdaPTS在预测精度和不确定性量化方面均有明显优势。具体而言，在某些数据集上，AdaPTS的预测误差降低了10%以上，并且能够更准确地估计预测的不确定性。

🎯 应用场景

AdaPTS框架可广泛应用于金融、医疗、交通等领域的多变量时间序列预测任务。例如，在金融领域，可以用于股票价格预测、风险管理等；在医疗领域，可以用于患者生理指标预测、疾病诊断等；在交通领域，可以用于交通流量预测、智能交通控制等。该研究成果有助于提升时间序列预测的准确性和可靠性，为相关领域的决策提供更可靠的依据。

📄 摘要（原文）

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.