Loss-Guided Pretraining Data Selection for Time-Series Foundation Models

📄 arXiv: 2609.37255v1 📥 PDF

作者: Yike Li, Shaoxu Song, Jianmin Wang

分类: cs.LG, cs.AI

发布日期: 2026-09-29

备注: 15 pages, 5 figures

💡 一句话要点

提出静态数据选择框架以优化时间序列基础模型的预训练数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列模型 数据选择 预训练 损失函数 模型优化

📋 核心要点

  1. 现有的时间序列基础模型在数据选择上缺乏有效性评估，导致训练信号不足。
  2. 本文提出了一种基于参考预测器的静态数据选择框架，以优化预训练数据的选择过程。
  3. 实验结果表明，该方法在多种架构上优于随机选择，且在相对MASE和CRPS指标上表现更佳。

📝 摘要（中文）

时间序列基础模型（TSFMs）通常在包含数十亿观测值的异构数据集中进行预训练，但其训练窗口的选择往往未能评估其学习信号的有效性。本文提出了一种静态数据选择框架，通过参考预测器对每个窗口进行评分，并保留每个源数据集中的中间区间。我们将预测损失与优化难度联系起来，证明归一化平方损失在局部雅可比条件下控制每个样本的梯度范数。通过定义参考损失评分并应用数据集分层选择，我们在保留样本多样性的同时，显著提高了多种TSFM架构的性能，超越了随机选择，并在相对MASE和CRPS上优于全数据预训练。

🔬 方法详解

问题定义：本文旨在解决时间序列基础模型在预训练过程中数据选择的有效性问题。现有方法往往随机选择训练窗口，未能考虑其学习信号的质量，导致模型性能不佳。

核心思路：我们提出了一种静态数据选择框架，通过参考预测器对每个窗口进行评分，保留具有代表性的样本，以提高模型的学习效率和性能。

技术框架：该框架包括数据评分、窗口选择和样本多样性保留三个主要模块。首先，通过参考预测器计算每个窗口的损失评分，然后根据评分进行数据选择，最后确保所选样本的多样性。

关键创新：本文的创新在于将预测损失与优化难度相联系，提出了归一化平方损失作为控制梯度范数的手段。这一方法与传统的随机选择方法本质上不同，能够更有效地选择具有学习信号的数据。

关键设计：在设计中，我们使用了归一化平方损失作为损失函数，并通过数据集分层选择来确保样本的多样性。此外，参考模型的选择也基于其与目标模型的难度顺序兼容性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，本文方法在多种时间序列基础模型架构上均优于随机选择，且在相对MASE和CRPS指标上相较于全数据预训练有显著提升，具体提升幅度达到X%（具体数据未知）。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象数据分析和工业设备监控等时间序列相关任务。通过优化预训练数据的选择，能够显著提升模型的预测能力和泛化性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Time series foundation models (TSFMs) are pretrained on heterogeneous collections containing billions of observations, yet their training windows are typically sampled without estimating whether they provide useful learning signal. We introduce a static data-selection framework that scores each window with a reference forecaster and retains an intermediate interval within every source dataset. Specifically, we connect forecasting loss to optimization difficulty by showing that normalized squared loss controls the per-sample gradient norm under a local Jacobian condition. We then define a reference loss score and apply dataset-stratified selection to preserve the diversity of samples. Across various TSFM architectures, our method outperforms random selection by an absolute margin and even improves both relative MASE and CRPS over full-data pretraining by retaining fewer candidate pretraining windows. Further analyses show strong cross-scale and cross-architecture score correlations, indicating that a small reference model can often select data for larger targets, provided that the reference and target share compatible difficulty orderings.