One-Embedding-Fits-All: Efficient Zero-Shot Time Series Forecasting by a Model Zoo

📄 arXiv: 2509.04208v2 📥 PDF

作者: Hao-Nan Shi, Ting-Ji Huang, Lu Han, De-Chuan Zhan, Han-Jia Ye

分类: cs.LG

发布日期: 2025-09-04 (更新: 2025-09-25)

💡 一句话要点

ZooCast：利用模型动物园，实现高效的零样本时间序列预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 零样本学习 模型选择 模型集成 嵌入学习 模型动物园

📋 核心要点

  1. 现有时间序列基础模型各有优劣，单一模型难以适应所有预测任务，存在性能瓶颈。
  2. ZooCast构建模型动物园，通过One-Embedding-Fits-All范式，为每个模型学习统一嵌入，实现高效的模型选择。
  3. 实验表明，ZooCast在零样本预测基准上表现优异，并能轻松集成新模型，持续提升预测精度。

📝 摘要（中文）

时间序列基础模型（TSFMs）的快速发展显著提升了零样本预测能力，无需针对特定任务进行微调即可对未见过的时序数据进行预测。大量研究表明，没有哪个单一的TSFM在所有情况下都表现最佳，因为不同的模型对不同的时间模式有偏好。这种多样性带来了一个机会：如何利用TSFM的互补能力。为此，我们提出了ZooCast，它表征了每个模型独特的预测优势。ZooCast能够智能地将现有的TSFM组装成一个模型动物园，动态地为不同的预测任务选择最佳模型。我们的关键创新在于“One-Embedding-Fits-All”范式，它构建了一个统一的表示空间，其中动物园中的每个模型都由一个单一的嵌入表示，从而能够为所有任务进行高效的相似性匹配。实验表明，ZooCast在GIFT-Eval零样本预测基准上表现出色，同时保持了单个TSFM的效率。在具有顺序模型发布的真实场景中，该框架可以无缝地添加新模型，以极小的开销逐步提高准确性。

🔬 方法详解

问题定义：论文旨在解决零样本时间序列预测问题，即在没有特定任务微调的情况下，如何利用现有的多个时间序列基础模型（TSFMs）对未见过的时序数据进行准确预测。现有方法的痛点在于，单一TSFM无法在所有场景下都表现良好，因为不同模型对不同的时间模式有偏好。简单地选择一个“最佳”模型会忽略其他模型的潜在价值。

核心思路：论文的核心思路是构建一个“模型动物园”（ZooCast），其中包含多个TSFM，并学习每个模型的优势。通过“One-Embedding-Fits-All”范式，将每个模型映射到一个统一的嵌入空间，使得可以根据任务的特征，动态地选择最适合的TSFM进行预测。这样可以充分利用不同模型的互补能力，提高整体的预测精度。

技术框架：ZooCast的整体框架包括以下几个主要模块：1) 模型动物园：收集现有的TSFM。2) One-Embedding-Fits-All模块：为每个模型学习一个统一的嵌入表示。3) 相似性匹配模块：根据任务的特征，计算任务与模型嵌入之间的相似度。4) 模型选择模块：根据相似度，选择最适合的TSFM进行预测。5) 模型集成（可选）：将多个模型的预测结果进行集成，进一步提高预测精度。

关键创新：最重要的技术创新点在于“One-Embedding-Fits-All”范式。与现有方法不同，该范式不是为每个任务单独训练模型，而是学习一个统一的嵌入空间，使得每个模型都可以用一个单一的嵌入表示。这样可以大大提高模型选择的效率，并方便地集成新的模型。

关键设计：One-Embedding-Fits-All模块的关键设计包括：1) 嵌入网络的结构：可以使用Transformer或其他神经网络结构来学习模型的嵌入表示。2) 损失函数的设计：可以使用对比损失或三元组损失来学习模型之间的相似度关系。3) 相似性度量：可以使用余弦相似度或其他相似性度量来计算任务与模型嵌入之间的相似度。具体的参数设置和网络结构需要根据具体的任务和数据集进行调整。

📊 实验亮点

实验结果表明，ZooCast在GIFT-Eval零样本预测基准上取得了显著的性能提升，超越了现有的单一TSFM方法。ZooCast在保持单个TSFM效率的同时，能够动态地选择最佳模型，并能无缝集成新模型，以极小的开销逐步提高准确性。具体性能数据需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种时间序列预测场景，例如：电力负荷预测、交通流量预测、金融市场预测、供应链管理等。通过构建模型动物园，可以充分利用现有的TSFM，提高预测精度，降低开发成本。该方法还可以方便地集成新的模型，实现持续的性能提升，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

The proliferation of Time Series Foundation Models (TSFMs) has significantly advanced zero-shot forecasting, enabling predictions for unseen time series without task-specific fine-tuning. Extensive research has confirmed that no single TSFM excels universally, as different models exhibit preferences for distinct temporal patterns. This diversity suggests an opportunity: how to take advantage of the complementary abilities of TSFMs. To this end, we propose ZooCast, which characterizes each model's distinct forecasting strengths. ZooCast can intelligently assemble current TSFMs into a model zoo that dynamically selects optimal models for different forecasting tasks. Our key innovation lies in the One-Embedding-Fits-All paradigm that constructs a unified representation space where each model in the zoo is represented by a single embedding, enabling efficient similarity matching for all tasks. Experiments demonstrate ZooCast's strong performance on the GIFT-Eval zero-shot forecasting benchmark while maintaining the efficiency of a single TSFM. In real-world scenarios with sequential model releases, the framework seamlessly adds new models for progressive accuracy gains with negligible overhead.