$t_0$: A Time-Series Foundation Model for Forecasting with Context

📄 arXiv: 2609.24559v1 📥 PDF

作者: Lucas Meyer, Claudio Sole, Huikan Xiang, Nicolas Li, Lucas Franceschino, Arnau Quera-Bofarull, Maarten P. Scholl, Joachim Fainberg, Geoffrey Négiar

分类: cs.LG, cs.AI

发布日期: 2026-09-21

备注: 39 pages, 16 figures, 13 tables

💡 一句话要点

提出$t_0$模型以解决多变量时间序列预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 多变量模型 Transformer 概率预测 开放权重模型

📋 核心要点

  1. 现有时间序列预测方法在处理多变量上下文时存在局限性，尤其是在不进行重训练的情况下难以适应不同任务。
  2. 论文提出的$t_0$模型通过结合目标历史和未来协变量，利用Transformer结构进行高效的时间序列预测，且无需任务特定重训练。
  3. 实验结果显示，$ exttt{t0-alpha}$和$ exttt{t0-beta}$在多个基准测试中表现优异，尤其在电力需求和价格预测任务中显著降低了预测误差。

📝 摘要（中文）

我们提出了$t_0$，一系列用于多变量上下文预测的开放权重基础模型。首次发布的两个成员$ exttt{t0-alpha}$和$ exttt{t0-beta}$分别具有102M和256M参数。它们在不进行任务特定重训练的情况下，基于目标历史、过去协变量和已知未来协变量进行预测。模型通过量化预测生成概率性预测。预训练结合了经过策划的公共数据和构建的合成生成器家族，以包含协变量与目标之间的依赖关系。在GIFT-Eval上，$ exttt{t0-alpha}$的CRPS为0.4941，$ exttt{t0-beta}$的CRPS为0.4738，MASE为0.6865，均在零-shot TSFM中排名第三。在fev-bench上，它们的技能分数分别为42.2和46.7，后者再次排名第三，落后于领先者2.0分。

🔬 方法详解

问题定义：本论文旨在解决多变量时间序列预测中的上下文依赖问题，现有方法在处理不同任务时往往需要重训练，限制了其灵活性和适用性。

核心思路：论文提出的$t_0$模型通过引入已知未来协变量，结合目标历史和过去协变量，利用Transformer架构进行高效预测，避免了任务特定的重训练。

技术框架：模型由两个主要部分组成：$ exttt{t0-alpha}$和$ exttt{t0-beta}$，分别具有102M和256M参数。它们的Transformer层交替在时间和变量之间进行注意力计算，生成概率性预测。

关键创新：最重要的创新在于模型的开放权重设计和对未来协变量的有效利用，使得模型在不同任务中具备更强的适应性和准确性。

关键设计：模型的预训练结合了策划的公共数据和合成生成器，确保了协变量与目标之间的依赖关系得到充分学习。损失函数采用量化预测方式，提升了模型的预测能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在GIFT-Eval基准测试中，$ exttt{t0-alpha}$和$ exttt{t0-beta}$分别实现了0.4941和0.4738的CRPS，且在电力需求预测中表现出色，显著降低了MAE，提升幅度达38%。

🎯 应用场景

该研究的潜在应用领域包括电力需求预测、金融市场价格预测及其他需要多变量时间序列分析的场景。通过提高预测准确性，模型能够为决策提供更可靠的支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

We present $t_0$, a family of open-weights foundation models for forecasting with multivariate context. We release its first two members: $\texttt{t0-alpha}$ and $\texttt{t0-beta}$, respectively 102M and 256M parameters. Both condition their forecasts on target history, past covariates, and known-future covariates, without task-specific retraining. Their transformer layers alternate attention along time and across variates. They produce probabilistic forecasts through quantile predictions. Pretraining combines curated public data with synthetic generator families constructed to contain covariate-to-target dependencies. On GIFT-Eval, $\texttt{t0-alpha}$ reaches an aggregate CRPS of 0.4941, and $\texttt{t0-beta}$ a CRPS of 0.4738 and a MASE of 0.6865, third on both and within 4.0% of the best zero-shot TSFM. On fev-bench they score 42.2 and 46.7 in skill, the latter third again and 2.0 points behind the leader. We analyze $\texttt{t0-alpha}$ in depth. Known-future covariates raise its skill by 6.3 percentage points across 30 tasks. The report also examines its calibration, its rollout strategy on long horizons, and its robustness to missing data. On the Victoria electricity-demand benchmark, $\texttt{t0-beta}$ is among the most accurate models with a context of nearly a year. In an independent Macrocosm evaluation of hourly ERCOT prices over 29 months, both cut the MAE of the lagged-price baseline by 38%.