Timer-M1: A Multivariate Time Series Foundation Model via Learning Primitives

📄 arXiv: 2610.11734v1 📥 PDF

作者: Haoran Zhang, Haixuan Liu, Xingjian Su, Yong Liu, Zhi Chen, Yuxuan Wang, Jianmin Wang, Mingsheng Long

分类: cs.LG, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出Timer-M1以解决多变量时间序列零-shot预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多变量时间序列 零-shot预测 原始模式 数据合成 Transformer模型 预训练 泛化能力 时间序列分析

📋 核心要点

  1. 现有的时间序列预测模型在复杂的现实场景中泛化能力不足，难以处理多样化的时间序列数据。
  2. Timer-M1通过基于原始模式的数据合成和预训练管道，优化模型在不同上下文中的预测能力。
  3. 在三个大型预测基准上，Timer-M1在FEV和TIME上排名第一，在GIFT-Eval上排名第二，显示出显著的性能提升。

📝 摘要（中文）

本文介绍了Timer-M1，一个预训练的多变量时间序列基础模型，通过学习原始模式实现零-shot预测。时间序列在不同领域共享基本的时间和关系模式，称为原始模式，但在不同上下文中表现和演变的方式各异。尽管在零-shot和任务通用预测方面已有进展，现有基础模型在复杂的现实场景中仍然难以泛化。为此，本文开发了一种基于原始模式的数据合成和预训练管道。该管道生成跨领域共享的时间原始模式序列，并利用关系原始模式将真实和生成的序列组装成多变量样本。样本通过分配不同的通道角色（目标变量、仅过去协变量和已知未来协变量）组织成情节，确保模型在可预测变量上进行优化。Timer-M1采用动态分配跨变量注意力的门控二维Transformer模块，在三个大型预测基准上表现优异，支持基于原始模式的预训练作为跨领域和任务设置的稳健预测技术的有效途径。

🔬 方法详解

问题定义：本文旨在解决多变量时间序列预测中的泛化能力不足问题，现有方法在复杂场景下表现不佳，难以适应不同领域的时间序列数据。

核心思路：Timer-M1的核心思路是通过学习时间序列中的原始模式，构建一个基于原始模式的数据合成和预训练管道，以提高模型的泛化能力和预测准确性。

技术框架：整体架构包括数据合成、预训练和模型优化三个主要阶段。数据合成阶段生成共享的时间原始模式序列，预训练阶段通过组装真实和生成的序列形成多变量样本，最后通过优化模型在不同角色的通道上进行训练。

关键创新：Timer-M1的关键创新在于采用了基于原始模式的合成方法和动态分配跨变量注意力的门控二维Transformer模块，这使得模型能够更有效地捕捉时间序列中的复杂关系。

关键设计：模型设计中，样本通过分配目标变量、仅过去协变量和已知未来协变量的角色进行组织，确保模型在可预测变量上进行优化，同时采用了适应性的损失函数和网络结构以提升模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Timer-M1在三个大型时间序列预测基准上表现优异，其中在FEV和TIME上排名第一，在GIFT-Eval上排名第二，显示出相较于其他最新时间序列基础模型的显著性能提升，验证了基于原始模式的预训练方法的有效性。

🎯 应用场景

Timer-M1的研究成果在多个领域具有广泛的应用潜力，包括金融市场预测、气象数据分析和工业设备监控等。通过提高时间序列预测的准确性，该模型能够帮助决策者做出更为精准的预测和规划，进而提升各行业的运营效率和响应能力。未来，该模型的技术框架也可能被扩展到其他类型的序列数据分析中，推动相关领域的发展。

📄 摘要（原文）

We introduce Timer-M1, a pretrained multivariate time series foundation model that learns with primitives for zero-shot forecasting. Across domains, time series share elementary temporal and relational patterns, termed primitives, yet differ in how these primitives manifest and evolve across different contexts. Despite progress in zero-shot and task-general forecasting, existing foundation models may still struggle to generalize to complex real-world scenarios. To this end, we develop a primitive-based data synthesis and pretraining pipeline. The synthesis pipeline generates series with temporal primitives shared across domains and then assembles real and generated series into multivariate samples using relational primitives. Afterwards, samples are organized into episodes by assigning distinct channel roles as target variates, past-only covariates, and known-future covariates, ensuring that the model is optimized on predictable variates using available exogenous information. Technically, Timer-M1 further adapts gated two-dimensional Transformer blocks that dynamically allocate cross-variate attention across layers. Across three large-scale forecasting benchmarks, Timer-M1 ranks first on both FEV and TIME and second on GIFT-Eval among most recent time series foundation models. These results support effective primitive-based pretraining as a route to robust general forecasting technique across domains and task settings.