Random Initialization as a Baseline for Time Series Foundation Models

📄 arXiv: 2610.30950v1 📥 PDF

作者: Pinar Sungu Isiacik, Georgiana Ifrim

分类: cs.LG

发布日期: 2026-10-22

备注: Accepted by the NeurIPS-26 Workshop on TS-LIMITS

💡 一句话要点

提出随机初始化作为时间序列基础模型的基线评估方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分析 自监督学习 多变量分类 模型评估 随机初始化 预训练模型 统计分析

📋 核心要点

  1. 现有的时间序列基础模型在多变量时间序列分类任务中，预训练权重的贡献尚不明确，影响模型评估的准确性。
  2. 本文通过比较七个TSFM实例与随机初始化模型，系统评估预训练权重对模型性能的影响，提出新的评估基线。
  3. 实验结果显示，预训练模型在准确率上有小幅提升，整体平均提升为2.58个百分点，部分实例在统计上显著，强调了评估方法的必要性。

📝 摘要（中文）

时间序列基础模型（TSFMs）利用自监督预训练学习可重用的表示，用于多变量时间序列分类等下游任务。本文通过比较七个公开发布的TSFM实例与其架构匹配的随机初始化模型，探讨预训练权重对模型性能的贡献。研究发现，预训练在所有七个实例上均提高了平均准确率，但提升幅度较小，整体平均提升为2.58个百分点。结果表明，MTSC评估应区分预训练权重与基础架构的影响，并纳入随机初始化和强非预训练基线的比较。

🔬 方法详解

问题定义：本文旨在探讨时间序列基础模型（TSFMs）中预训练权重的贡献，现有方法未能明确区分预训练与模型架构的影响，导致评估结果不够准确。

核心思路：通过将七个预训练的TSFM实例与其架构匹配的随机初始化模型进行比较，评估预训练权重对模型性能的实际贡献，提出随机初始化作为基线评估方法。

技术框架：研究使用了UEA多变量时间序列分类（MTSC）数据集，针对每个实例进行了五次随机初始化，并使用四种分类器（岭回归、逻辑回归、RBF SVM和随机森林）对冻结表示进行评估。

关键创新：最重要的创新在于明确提出随机初始化作为基线评估方法，强调在MTSC评估中应区分预训练权重与模型架构的影响，提供了更为严谨的评估框架。

关键设计：实验中对183对数据集进行了配对比较，使用Wilcoxon符号秩检验进行统计分析，发现部分实例的$p$值显著，且在Holm校正后，只有NuTime实例保持显著性。

📊 实验亮点

实验结果表明，预训练模型在七个实例上均提高了平均准确率，提升幅度在1.43到5.19个百分点之间，整体平均提升为2.58个百分点。统计分析显示，三项实例在校正后仍显著，强调了预训练权重的潜在价值。

🎯 应用场景

该研究为时间序列分析领域提供了新的评估基线，能够帮助研究者更准确地理解预训练模型的实际效果，促进多变量时间序列分类任务的研究与应用，尤其在金融、气象等领域具有重要价值。

📄 摘要（原文）

Time series foundation models (TSFMs) use self-supervised pretraining to learn reusable representations for downstream tasks such as multivariate time series classification (MTSC). We examine how much pretrained weights contribute beyond the architecture itself by comparing seven publicly released instances from four TSFM families with architecture-matched randomly initialized counterparts on the UEA MTSC archive. For each instance, five random initializations are evaluated using four classifiers on frozen representations: ridge classification, logistic regression, RBF SVM, and random forest. After model-specific exclusions due to computational constraints, the study comprises 183 paired dataset-level comparisons. Pretraining improves mean accuracy for all seven instances, but the gains are modest, ranging from 1.43 to 5.19 percentage points, with an overall average improvement of 2.58 points. Three of seven per-instance Wilcoxon signed-rank tests have raw $p$-values below 0.05, but only NuTime remains significant after Holm correction. A secondary pooled test across all 183 pairs gives $p < 0.001$, while the corrected per-instance tests remain the primary evidence. We also compare with ROCKET, Hydra, and Quant, which remain competitive without requiring large-scale pretraining. These findings suggest that MTSC evaluations should distinguish the effect of pretrained weights from that of the underlying architecture and should include both architecture-matched random initialization and strong non-pretrained baselines.