CITRAS-FM: Tiny Time Series Foundation Model for Covariate-Informed Zero-Shot Forecasting

📄 arXiv: 2606.10798v1 📥 PDF

作者: Yosuke Yamaguchi, Issei Suemitsu, Yuki Kajihara, Wenpeng Wei

分类: cs.LG

发布日期: 2026-06-09

备注: Accepted to EUSIPCO 2026

💡 一句话要点

提出CITRAS-FM以解决时间序列零-shot预测中的计算成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 零-shot学习 协变量 Transformer 实时推理 模型压缩 深度学习

📋 核心要点

  1. 现有的时间序列基础模型在计算成本和对多样化变量支持方面存在不足，无法有效处理外生协变量。
  2. CITRAS-FM是一个小型的时间序列基础模型，采用仅解码器的Transformer架构，并引入Shifted Attention机制来利用协变量。
  3. 在100个不同任务的实验中，CITRAS-FM在零-shot预测准确率上达到了最先进水平，同时实现了快速的CPU推理速度。

📝 摘要（中文）

预训练的时间序列基础模型（TSFMs）已使得在未见目标序列上实现零-shot预测成为可能。然而，现有的TSFMs通常计算成本高，并且对多样化变量类型的支持有限，常常无法考虑外生影响目标变异性的协变量。为了解决这些挑战，本文提出了CITRAS-FM，一个仅有700万参数的微型TSFM，支持单变量、多变量和协变量知情的零-shot预测，并可实现实时CPU推理。CITRAS-FM基于一种仅解码器的Transformer架构，引入了Shifted Attention机制，以有效利用在预测范围内可获取的已知协变量。此外，为了在协变量丰富的语料稀缺的情况下实现协变量感知的预训练，本文提出了CovSynth，通过从目标序列的分解成分合成现实的协变量。实验结果表明，CITRAS-FM在100个任务中实现了亚10M TSFMs中的最先进零-shot准确率，同时提供了小于0.1秒的CPU推理，展现了预测准确性与实时可部署性之间的良好平衡。

🔬 方法详解

问题定义：本论文旨在解决现有时间序列基础模型在零-shot预测中面临的高计算成本和对多样化变量支持不足的问题，尤其是未能有效考虑外生协变量的影响。

核心思路：CITRAS-FM通过引入Shifted Attention机制，能够在预测过程中有效利用已知的协变量，从而提升预测的准确性和效率。该模型的设计旨在实现高效的实时推理，同时保持较小的模型规模。

技术框架：CITRAS-FM基于一种仅解码器的Transformer架构，主要包括输入层、Shifted Attention模块和输出层。模型通过对输入数据进行分块处理，利用协变量信息进行预测。

关键创新：CITRAS-FM的核心创新在于Shifted Attention机制的引入，使得模型能够在多变量预测中更好地利用协变量信息。这一设计与传统的时间序列模型相比，显著提升了模型的灵活性和准确性。

关键设计：模型参数设置为700万，采用CovSynth方法合成协变量，确保在缺乏协变量丰富语料的情况下，仍能进行有效的预训练。损失函数和网络结构经过精心设计，以优化模型在零-shot预测任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在fev-bench的100个任务中，CITRAS-FM在零-shot预测准确率上达到了最先进水平，表现优于其他亚10M参数的时间序列基础模型。同时，其CPU推理时间小于0.1秒，展现了良好的实时可部署性。

🎯 应用场景

CITRAS-FM在金融市场预测、气象预报和供应链管理等领域具有广泛的应用潜力。其高效的实时推理能力使其适合于需要快速决策的场景，能够为企业提供及时的预测支持，提升决策效率和准确性。

📄 摘要（原文）

Pretrained time series foundation models (TSFMs) have enabled zero-shot forecasting on unseen target series. However, existing TSFMs often incur high computational cost and provide limited support for diverse variable types, often failing to account for covariates that exogenously influence target variability. To address these challenges, we propose CITRAS-FM, a tiny 7M-parameter TSFM that supports univariate, multivariate, and covariate-informed zero-shot forecasting with real-time CPU inference. Built on a patch-based, decoder-only Transformer, CITRAS-FM introduces Shifted Attention into the cross-variate module to effectively exploit known covariates accessible throughout the forecast horizon. Moreover, to enable covariate-aware pretraining despite the scarcity of covariate-rich corpora, we propose CovSynth, which synthesizes realistic covariates from decomposed components of target series. Experiments on fev-bench, spanning 100 tasks across various settings, demonstrate that CITRAS-FM achieves state-of-the-art zero-shot accuracy among sub-10M TSFMs while delivering sub-0.1-second CPU inference, offering a strong balance between forecasting accuracy and real-time deployability.