ProbFM: Probabilistic Time Series Foundation Model with Uncertainty Decomposition

📄 arXiv: 2601.10591v1 📥 PDF

作者: Arundeep Chinta, Lucas Vinh Tran, Jay Katukuri

分类: cs.LG, cs.AI, q-fin.RM, q-fin.TR

发布日期: 2026-01-15

备注: Accepted for oral presentation at the AI Meets Quantitative Finance Workshop at ICAIF 2025. An enhanced version was accepted for oral presentation at the AI for Time Series Analysis Workshop at AAAI 2026

💡 一句话要点

ProbFM：基于不确定性分解的概率时间序列基础模型，用于金融预测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 基础模型 不确定性量化 深度证据回归 金融预测

📋 核心要点

  1. 现有时间序列基础模型在金融预测中缺乏有效的不确定性量化方法，限制了其应用。
  2. ProbFM利用深度证据回归(DER)学习最优的不确定性表示，实现认知和偶然不确定性的分解。
  3. 实验表明，ProbFM在加密货币收益预测中保持了竞争性的预测精度，并提供了显式的不确定性分解。

📝 摘要（中文）

时间序列基础模型(TSFMs)已成为零样本金融预测的一种有前景的方法，展示了强大的迁移性和数据效率提升。然而，它们在金融应用中的采用受到不确定性量化方面基本限制的阻碍：当前的方法要么依赖于限制性的分布假设，要么混淆了不同的不确定性来源，要么缺乏有原则的校准机制。虽然最近的TSFMs采用了混合模型、Student's t分布或共形预测等复杂技术，但它们未能解决提供理论上可靠的不确定性分解这一核心挑战。我们首次提出了一个基于Transformer的新型概率框架ProbFM(概率基础模型)，它利用深度证据回归(DER)来提供有原则的不确定性量化，并具有显式的认知-偶然不确定性分解。与预先指定分布形式或需要基于采样的推理的现有方法不同，ProbFM通过高阶证据学习来学习最优的不确定性表示，同时保持单次计算效率。为了独立于架构复杂性严格评估核心DER不确定性量化方法，我们使用一致的LSTM架构在五种概率方法(DER、高斯NLL、Student's-t NLL、分位数损失和共形预测)上进行了广泛的受控比较研究。对加密货币收益预测的评估表明，DER在保持竞争性预测精度的同时，提供了显式的认知-偶然不确定性分解。这项工作建立了一个可扩展的框架，用于基础模型中有原则的不确定性量化，并为DER在金融应用中的有效性提供了经验证据。

🔬 方法详解

问题定义：现有时间序列基础模型在金融预测中面临不确定性量化的挑战。现有方法通常依赖于预定义的分布假设，无法有效区分认知不确定性（由于模型知识不足）和偶然不确定性（数据本身的固有噪声），并且缺乏良好的校准机制。这限制了模型在风险敏感型金融应用中的可靠性。

核心思路：ProbFM的核心思路是利用深度证据回归(DER)来学习不确定性的表示。DER通过学习证据来推断分布参数，从而避免了预先假设分布形式的限制。通过DER，模型可以同时估计认知和偶然不确定性，并提供更全面的不确定性量化。这种设计旨在提高模型在金融预测中的可靠性和可解释性。

技术框架：ProbFM基于Transformer架构，并集成了DER模块。整体流程如下：1) 输入时间序列数据；2) Transformer编码器提取特征；3) DER模块利用提取的特征学习证据，并推断预测分布的参数；4) 输出预测结果以及认知和偶然不确定性的估计。该框架允许端到端训练，并能够有效地学习不确定性的表示。

关键创新：ProbFM的关键创新在于将DER引入时间序列基础模型，实现了有原则的不确定性分解。与现有方法相比，ProbFM不需要预先指定分布形式，能够自适应地学习最优的不确定性表示。此外，ProbFM能够显式地估计认知和偶然不确定性，为模型预测提供了更全面的信息。

关键设计：ProbFM的关键设计包括：1) 使用Transformer作为特征提取器，捕捉时间序列的长期依赖关系；2) DER模块使用高阶证据学习，通过学习证据来推断预测分布的参数；3) 损失函数包括数据似然项和正则化项，用于优化预测精度和不确定性估计。具体的网络结构和参数设置根据不同的数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ProbFM在加密货币收益预测中取得了与现有方法相当的预测精度，同时提供了显式的认知-偶然不确定性分解。与高斯NLL、Student's-t NLL、分位数损失和共形预测等基线方法相比，ProbFM能够更准确地估计不确定性，并提供更可靠的预测结果。

🎯 应用场景

ProbFM在金融风险管理、投资组合优化、算法交易等领域具有广泛的应用前景。通过提供可靠的不确定性量化，ProbFM可以帮助金融机构更好地评估风险，做出更明智的决策。此外，ProbFM还可以用于构建更稳健的交易策略，提高投资回报。

📄 摘要（原文）

Time Series Foundation Models (TSFMs) have emerged as a promising approach for zero-shot financial forecasting, demonstrating strong transferability and data efficiency gains. However, their adoption in financial applications is hindered by fundamental limitations in uncertainty quantification: current approaches either rely on restrictive distributional assumptions, conflate different sources of uncertainty, or lack principled calibration mechanisms. While recent TSFMs employ sophisticated techniques such as mixture models, Student's t-distributions, or conformal prediction, they fail to address the core challenge of providing theoretically-grounded uncertainty decomposition. For the very first time, we present a novel transformer-based probabilistic framework, ProbFM (probabilistic foundation model), that leverages Deep Evidential Regression (DER) to provide principled uncertainty quantification with explicit epistemic-aleatoric decomposition. Unlike existing approaches that pre-specify distributional forms or require sampling-based inference, ProbFM learns optimal uncertainty representations through higher-order evidence learning while maintaining single-pass computational efficiency. To rigorously evaluate the core DER uncertainty quantification approach independent of architectural complexity, we conduct an extensive controlled comparison study using a consistent LSTM architecture across five probabilistic methods: DER, Gaussian NLL, Student's-t NLL, Quantile Loss, and Conformal Prediction. Evaluation on cryptocurrency return forecasting demonstrates that DER maintains competitive forecasting accuracy while providing explicit epistemic-aleatoric uncertainty decomposition. This work establishes both an extensible framework for principled uncertainty quantification in foundation models and empirical evidence for DER's effectiveness in financial applications.