Probabilistic Forecasting via Autoregressive Flow Matching

📄 arXiv: 2503.10375v1 📥 PDF

作者: Ahmed El-Gazzar, Marcel van Gerven

分类: cs.LG

发布日期: 2025-03-13

💡 一句话要点

提出FlowTime，一种基于自回归Flow Matching的概率时间序列预测模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列预测 概率预测 自回归模型 Flow Matching 生成模型

📋 核心要点

  1. 现有时间序列预测方法难以兼顾外推能力、模型大小和不确定性估计的准确性，尤其是在复杂多模态分布下。
  2. FlowTime利用Flow Matching框架，将未来观测分解为一系列条件密度，通过共享Flow建模，实现可扩展且无仿真的学习。
  3. 实验表明，FlowTime在多个动力系统和实际预测任务中表现出色，验证了其有效性和优越性。

📝 摘要（中文）

本文提出FlowTime，一种用于多元时间序列数据概率预测的生成模型。给定历史测量数据和可选的未来协变量，我们将预测建模为从学习到的未来轨迹条件分布中采样。具体而言，我们将未来观测的联合分布分解为一系列条件密度，每个条件密度通过一个共享的Flow来建模，该Flow将一个简单的基础分布转换为下一个观测分布，并以观测到的协变量为条件。为了实现这一点，我们利用Flow Matching (FM) 框架，从而能够对这些转换进行可扩展且无仿真的学习。通过将这种分解与FM目标相结合，FlowTime保留了自回归模型的优点，包括强大的外推性能、紧凑的模型大小和良好校准的不确定性估计，同时还捕获了复杂的多模态条件分布，这在现代基于传输的生成模型中很常见。我们在多个动力系统和实际预测任务中证明了FlowTime的有效性。

🔬 方法详解

问题定义：论文旨在解决多元时间序列数据的概率预测问题。现有方法，如传统自回归模型，虽然具有良好的外推能力和紧凑的模型大小，但在捕捉复杂的多模态条件分布方面存在不足。同时，基于生成对抗网络（GANs）或变分自编码器（VAEs）的模型虽然能够生成多样化的预测，但在校准不确定性估计方面表现不佳，且训练过程可能不稳定。

核心思路：FlowTime的核心思路是将时间序列预测问题转化为从学习到的条件分布中采样的问题。通过将未来观测的联合分布分解为一系列条件密度，并使用Flow Matching（FM）框架来学习这些条件密度之间的转换。FM框架允许模型在没有显式模拟的情况下学习，从而提高了训练效率和稳定性。这种自回归的分解方式保留了自回归模型的优点，同时利用Flow模型捕捉复杂的多模态分布。

技术框架：FlowTime的整体框架包括以下几个主要模块：1) 历史数据和协变量输入：模型接收历史时间序列数据和可选的未来协变量作为输入。2) 自回归分解：将未来观测的联合分布分解为一系列条件密度。3) Flow模型：使用一个共享的Flow模型来学习每个条件密度之间的转换。该Flow模型将一个简单的基础分布（如高斯分布）转换为下一个观测分布，并以观测到的协变量为条件。4) Flow Matching训练：使用FM目标函数来训练Flow模型，实现可扩展且无仿真的学习。5) 采样：从学习到的条件分布中采样，生成未来轨迹的概率预测。

关键创新：FlowTime的关键创新在于将Flow Matching框架应用于自回归时间序列预测。与传统的基于GANs或VAEs的生成模型相比，FM框架具有训练稳定、无需对抗训练等优点。此外，FlowTime通过自回归分解，保留了自回归模型的外推能力和紧凑的模型大小，同时利用Flow模型捕捉复杂的多模态分布。这使得FlowTime在概率预测方面具有更强的竞争力。

关键设计：FlowTime的关键设计包括：1) Flow模型结构：可以使用各种类型的Flow模型，如NICE、RealNVP或Glow。论文中可能采用了某种特定的Flow模型结构，并对其进行了优化以适应时间序列预测任务。2) Flow Matching目标函数：使用FM目标函数来训练Flow模型，该目标函数旨在最小化Flow模型生成的分布与真实数据分布之间的差异。3) 条件变量处理：模型需要有效地处理观测到的协变量，并将其作为Flow模型的条件输入。这可能涉及到使用神经网络来编码协变量，并将其嵌入到Flow模型的参数中。4) 损失函数权重：在训练过程中，可能需要调整不同损失项的权重，以平衡模型的预测准确性和不确定性估计的校准性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文在多个动力系统和实际预测任务中验证了FlowTime的有效性。实验结果表明，FlowTime在预测准确性、不确定性估计的校准性和模型大小方面均优于现有方法。具体的性能数据（如RMSE、CRPS等）和对比基线（如ARIMA、LSTM等）在论文中进行了详细的展示。FlowTime在某些任务上实现了显著的性能提升，证明了其在复杂时间序列预测方面的优势。

🎯 应用场景

FlowTime具有广泛的应用前景，包括但不限于：供应链管理中的需求预测、金融市场中的价格预测、能源消耗预测、交通流量预测、以及医疗健康领域中的疾病发展预测。该模型能够提供更准确的概率预测，帮助决策者更好地评估风险和制定策略，从而提高运营效率和降低成本。未来，FlowTime可以进一步扩展到其他领域，如气候变化预测和环境监测。

📄 摘要（原文）

In this work, we propose FlowTime, a generative model for probabilistic forecasting of multivariate timeseries data. Given historical measurements and optional future covariates, we formulate forecasting as sampling from a learned conditional distribution over future trajectories. Specifically, we decompose the joint distribution of future observations into a sequence of conditional densities, each modeled via a shared flow that transforms a simple base distribution into the next observation distribution, conditioned on observed covariates. To achieve this, we leverage the flow matching (FM) framework, enabling scalable and simulation-free learning of these transformations. By combining this factorization with the FM objective, FlowTime retains the benefits of autoregressive models -- including strong extrapolation performance, compact model size, and well-calibrated uncertainty estimates -- while also capturing complex multi-modal conditional distributions, as seen in modern transport-based generative models. We demonstrate the effectiveness of FlowTime on multiple dynamical systems and real-world forecasting tasks.