One-Embedding-Fits-All: Efficient Zero-Shot Time Series Forecasting by a Model Zoo

📄 arXiv: 2509.04208v2 📥 PDF

作者: Hao-Nan Shi, Ting-Ji Huang, Lu Han, De-Chuan Zhan, Han-Jia Ye

分类: cs.LG

发布日期: 2025-09-04 (更新: 2025-09-25)

💡 一句话要点

ZooCast：通过模型动物园实现高效的零样本时间序列预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 零样本学习 模型选择 模型组合 嵌入表示 模型动物园

📋 核心要点

  1. 现有时间序列基础模型各有优劣，单一模型难以适应所有预测任务，需要有效利用模型的互补性。
  2. ZooCast通过“One-Embedding-Fits-All”范式，为每个模型构建统一嵌入表示，实现高效的模型选择和组合。
  3. 实验表明，ZooCast在零样本预测基准上表现优异，并能以低开销集成新模型，提升预测精度。

📝 摘要（中文）

时间序列基础模型（TSFMs）的快速发展显著提升了零样本预测能力，无需针对特定任务进行微调即可对未见的时间序列进行预测。大量研究表明，没有单一的TSFM在所有情况下都表现出色，因为不同的模型对不同的时间模式有偏好。这种多样性提供了一个机会：如何利用TSFM的互补能力。为此，我们提出了ZooCast，它表征了每个模型独特的预测优势。ZooCast能够智能地将现有的TSFM组装成一个模型动物园，动态地为不同的预测任务选择最优模型。我们的关键创新在于“One-Embedding-Fits-All”范式，它构建了一个统一的表示空间，其中动物园中的每个模型都由一个单一的嵌入表示，从而能够为所有任务进行高效的相似性匹配。实验表明，ZooCast在GIFT-Eval零样本预测基准上表现出色，同时保持了单个TSFM的效率。在具有顺序模型发布的真实场景中，该框架可以无缝地添加新模型，以极小的开销逐步提高准确性。

🔬 方法详解

问题定义：论文旨在解决零样本时间序列预测中，单一时间序列基础模型（TSFM）无法适应所有预测任务的问题。现有方法通常依赖于单个TSFM，无法充分利用不同模型在处理不同时间模式上的优势，导致预测精度受限。此外，随着新模型的不断涌现，如何高效地集成这些模型也面临挑战。

核心思路：论文的核心思路是构建一个模型动物园（ZooCast），其中包含多个TSFM，并根据任务的特点动态选择最优模型进行预测。关键在于提出“One-Embedding-Fits-All”范式，为每个模型学习一个统一的嵌入表示，使得可以高效地计算模型与任务之间的相似度，从而实现模型的智能选择和组合。

技术框架：ZooCast的整体框架包括以下几个主要模块：1) 模型动物园构建：收集现有的TSFM，并将其纳入模型动物园。2) 嵌入表示学习：使用“One-Embedding-Fits-All”范式，为每个模型学习一个统一的嵌入表示。3) 任务相似度计算：根据任务的特点，计算任务与模型之间的相似度。4) 模型选择与组合：根据相似度，选择最优模型或组合多个模型进行预测。

关键创新：最重要的技术创新点在于“One-Embedding-Fits-All”范式。与现有方法需要为每个任务单独训练模型或进行微调不同，该范式通过学习统一的嵌入表示，使得可以高效地进行模型选择和组合，从而避免了大量的计算开销。此外，该范式还能够方便地集成新模型，实现模型的动态更新。

关键设计：论文的关键设计包括：1) 嵌入表示学习方法：具体采用何种方法学习模型的嵌入表示，例如可以使用对比学习或自监督学习等方法。2) 相似度度量方法：如何定义任务与模型之间的相似度，例如可以使用余弦相似度或欧氏距离等方法。3) 模型选择策略：如何根据相似度选择最优模型，例如可以选择相似度最高的模型，或者组合多个相似度较高的模型。4) 模型组合策略：如果选择组合多个模型，如何对这些模型的预测结果进行加权平均。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ZooCast在GIFT-Eval零样本预测基准上取得了显著的性能提升，超越了现有的单一TSFM。同时，ZooCast保持了与单个TSFM相当的效率，并且能够以极小的开销集成新模型，实现模型的动态更新。这些结果验证了ZooCast的有效性和实用性。

🎯 应用场景

该研究成果可广泛应用于各种时间序列预测场景，例如：电力负荷预测、交通流量预测、金融市场预测、销售预测等。通过构建模型动物园，可以根据不同场景的特点选择最优模型，提高预测精度。此外，该方法还能够方便地集成新模型，适应不断变化的市场需求，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

The proliferation of Time Series Foundation Models (TSFMs) has significantly advanced zero-shot forecasting, enabling predictions for unseen time series without task-specific fine-tuning. Extensive research has confirmed that no single TSFM excels universally, as different models exhibit preferences for distinct temporal patterns. This diversity suggests an opportunity: how to take advantage of the complementary abilities of TSFMs. To this end, we propose ZooCast, which characterizes each model's distinct forecasting strengths. ZooCast can intelligently assemble current TSFMs into a model zoo that dynamically selects optimal models for different forecasting tasks. Our key innovation lies in the One-Embedding-Fits-All paradigm that constructs a unified representation space where each model in the zoo is represented by a single embedding, enabling efficient similarity matching for all tasks. Experiments demonstrate ZooCast's strong performance on the GIFT-Eval zero-shot forecasting benchmark while maintaining the efficiency of a single TSFM. In real-world scenarios with sequential model releases, the framework seamlessly adds new models for progressive accuracy gains with negligible overhead.