Turning TS2Vec into a Foundation Model for Time Series Classification

📄 arXiv: 2610.28602v1 📥 PDF

作者: Vasilii Feofanov, Zhenghan Tai, Andrei Ermakov, Irina Rish

分类: cs.LG, cs.AI

发布日期: 2026-10-20

💡 一句话要点

将TS2Vec转变为时间序列分类的基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分类 自监督学习 基础模型 卷积神经网络 模型蒸馏 数据预处理 深度学习

📋 核心要点

  1. 现有的TS2Vec方法需要针对每个数据集进行重新训练，导致效率低下。
  2. 论文提出通过在合成语料库上预训练并使用两种视图输入，来将TS2Vec转变为基础模型TS2Vec-FM。
  3. 实验结果显示，TS2Vec-FM在多个数据集上表现出色，接近当前最优模型，且参数量显著减少。

📝 摘要（中文）

TS2Vec是2022年提出的一种强大的自监督时间序列分类方法，旨在针对每个数据集进行重新训练。随着基础模型的兴起，研究者探讨了能否在仅预训练一次的情况下保留TS2Vec的优良特性。研究表明，通过在合成语料库上预训练、输入原始幅度视图和实例归一化形状视图，并将每个视图的专用编码器蒸馏为单一编码器，TS2Vec可以有效转变为基础模型TS2Vec-FM。该模型在UCR-128和UEA-27数据集上分别达到了83.3%和75.3%的准确率，接近当前最优模型MantisV2，且优于单独训练的TS2Vec。

🔬 方法详解

问题定义：现有的TS2Vec方法在每个数据集上都需要重新训练，导致资源浪费和效率低下。如何将其转变为一个可以跨数据集重用的基础模型是本文的核心问题。

核心思路：论文提出的核心思路是通过在合成语料库上进行一次性预训练，结合原始幅度视图和实例归一化形状视图，来实现TS2Vec的基础模型化。这样的设计旨在保留其优良特性，同时提高训练效率。

技术框架：整体架构包括三个主要阶段：首先在合成数据集上进行预训练；其次，使用两个小型网络分别处理原始幅度视图和形状视图；最后，将两个视图的编码器蒸馏为一个单一编码器。

关键创新：最重要的技术创新在于通过不使用注意力机制和中间层提取，依然能达到与当前最优模型接近的性能。这一设计与其他基础模型形成了鲜明对比。

关键设计：TS2Vec-FM采用了1.6M参数的扩张卷积网络，保持编码器冻结状态下进行线性探测，使用的损失函数和参数设置经过精心调整，以确保模型的高效性和准确性。该模型的设计强调了传统卷积网络的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，TS2Vec-FM在UCR-128数据集上达到了83.3%的准确率，在UEA-27数据集上达到了75.3%的准确率，均在0.3个百分点内接近当前最优模型MantisV2，显示出显著的性能提升，且在参数量上更为紧凑。

🎯 应用场景

该研究的潜在应用领域包括金融市场分析、医疗监测、工业设备故障检测等时间序列数据处理场景。通过提高时间序列分类的效率和准确性，TS2Vec-FM能够为相关领域的决策支持提供更强大的工具，推动智能化发展。

📄 摘要（原文）

TS2Vec is one of the strongest self-supervised methods for time series classification, introduced in 2022. It is designed to be trained anew on every dataset: self-supervised pre-training followed by linear probing. Since then, the field has shifted towards foundation models that reuse one encoder across datasets. Yet TS2Vec offers a compact convolutional architecture that operates directly on temporal samples and accepts variable-length inputs without resampling. We ask whether these properties can be retained when the encoder is pre-trained only once, and show that they can: TS2Vec can essentially be turned into a foundation model. Three changes suffice: pre-train on a synthetic corpus, feed the encoder a raw amplitude view and an instance-normalized shape view of the input through two small stems, and distill one specialist encoder per view into a single encoder. The result, TS2Vec-FM, is a 1.6M-parameter dilated convolutional network that, kept frozen, reaches 83.3% on UCR-128 and 75.3% on UEA-27 under linear probing, within 0.3 pp of MantisV2, the current state of the art, and above TS2Vec trained separately on each target dataset. What we find most interesting is how different TS2Vec-FM is from other foundation models in design: near-parity is reached without attention, without a patch tokenizer, and without intermediate-layer extraction, using an "old-school" convolutional encoder and a two-layer MLP stem.