TimEE: End-to-end Time Series Classification via In-Context Learning

📄 arXiv: 2607.07500v1 📥 PDF

作者: Jaris Küken, Shi Bin Hoo, Martin Mráz, Frank Hutter, Lennart Purucker

分类: cs.LG, cs.AI

发布日期: 2026-07-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出TimEE以解决时间序列分类中的训练效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分类 上下文学习 合成数据 元训练 深度学习

📋 核心要点

  1. 现有的时间序列分类方法通常采用两阶段训练，导致模型无法有效利用标签信息，且需要针对每个数据集进行单独训练。
  2. TimEE通过上下文学习实现端到端的时间序列分类，能够在没有针对每个数据集的训练情况下，直接输出预测结果。
  3. 在UCR基准测试中，TimEE在ROC AUC上排名第一，准确率第三，展示了合成预训练模型的优越性能。

📝 摘要（中文）

时间序列分类（TSC）通常采用两阶段的范式：首先训练特征编码器，然后在其上拟合特定任务的分类器。尽管这种方法有效，但它独立优化表示学习与分类目标，且需要针对每个数据集进行训练，无法在推理时利用标签信息。本文提出TimEE，一个具有450万参数的基础模型，通过上下文学习实现端到端的时间序列分类。TimEE在没有针对每个数据集的训练情况下，直接输出预测的类别分布。尽管在预训练阶段未见过真实的时间序列，TimEE在UCR基准测试中在ROC AUC上排名第一，准确率第三，展示了合成预训练模型在TSC领域的潜力。

🔬 方法详解

问题定义：本文旨在解决时间序列分类中的训练效率问题，现有方法的痛点在于需要针对每个数据集进行独立训练，且无法在推理时利用标签信息。

核心思路：TimEE的核心思路是通过上下文学习实现端到端的时间序列分类，利用合成数据进行元训练，从而避免对每个数据集的单独训练。

技术框架：TimEE的整体架构包括一个基础模型，接受标记的支持集和查询时间序列，通过单次前向传播直接输出预测的类别分布。模型在合成的时间序列分类任务上进行元训练。

关键创新：TimEE是首个完全基于合成预训练的模型，且在UCR基准测试中取得了最先进的性能，显示了合成数据在时间序列分类中的潜力。

关键设计：TimEE的设计包括450万参数的基础模型，采用先前数据拟合网络（PFN）框架，损失函数和网络结构经过精心设计以适应合成任务的特性。预训练阶段未见过真实时间序列，但仍能在实际任务中表现优异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TimEE在UCR基准测试中表现突出，ROC AUC排名第一，准确率第三，显示出其在时间序列分类任务中的优越性。这一结果表明，合成预训练模型在实际应用中具有重要的潜力和价值。

🎯 应用场景

TimEE的研究成果在多个领域具有潜在应用价值，包括金融市场分析、健康监测、工业设备故障检测等。通过提高时间序列分类的效率和准确性，TimEE能够帮助企业和研究机构更好地利用时间序列数据进行决策和预测。

📄 摘要（原文）

Time series classification (TSC) is dominated by a two-stage paradigm: train a feature encoder -- either from scratch on the target dataset or via pretraining on large corpora -- and then fit a task-specific classifier on top. While effective, this decoupling optimizes representation learning independently of the classification objective, requires per-dataset training, and prevents the model from exploiting label information during inference. We introduce TimEE, a 4.5M-parameter foundation model for end-to-end TSC via in-context learning. Given a labeled support set and a query time series, TimEE directly outputs a predicted class distribution in a single forward pass with no per-dataset training required. Following the prior-data fitted network (PFN) framework, TimEE is meta-trained exclusively on synthetic TSC tasks, where each task contains time series with distinct class identities arising from structured distributional shifts in the generative process. Despite seeing no real time series during pre-training, TimEE ranks first in ROC AUC (and third on accuracy) on the UCR benchmark among all compared methods, which include both foundation models and supervised deep learning baselines. To our knowledge, TimEE is the first purely synthetic-pretrained model to reach state-of-the-art performance on the UCR benchmark. These results establish end-to-end ICL with synthetic priors as a compelling, largely unexplored direction for TSC, with scaling, prior design, and richer generation mechanisms as natural avenues for improvement. Code is publicly available at http://github.com/automl/timee.