When, Not How Much: Evaluating Time-Series Foundation Models on Sparse Events

📄 arXiv: 2609.39386v1 📥 PDF

作者: Daniel Schoess, Florian von Wangenheim

分类: cs.LG

发布日期: 2026-09-30

💡 一句话要点

提出时间序列基础模型评估方法以解决稀疏事件预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 稀疏事件 预训练模型 线性探针 事件监督 模型评估

📋 核心要点

  1. 现有的时间序列预测方法在处理稀疏事件时存在不足，无法有效评估未来活动期的决策。
  2. 论文提出了一种新的评估框架，侧重于稀疏数据集中的事件排名，而不仅仅是数值预测。
  3. 实验结果表明，使用事件监督的线性探针在大多数情况下超越了传统的点预测，且在多个数据集上表现优异。

📝 摘要（中文）

本文评估了预训练的时间序列基础模型（TSFMs）在未来值预测中的表现，特别关注稀疏时间序列中仅依赖于未来活动期的决策。标准基准未能评估这一点。在五个稀疏数据集上，研究对包含事件和零值的预测窗口内的位置进行了排名。结果显示，12个TSFM的点预测在训练无关参考上最多提高了0.031的机会校正平均精度，而在机会校正AUC中，所有数据集的中位数TSFM均低于这些参考。通过事件监督，六个冻结骨干网络的线性探针在30对骨干-数据集组合中有29次超越了其骨干的点预测。对预测分位数的平均处理改善了大多数TSFM的排名，且在两个数据集中，最强的输出与探针相当。总体而言，评估预训练预测器在价值预测之外的任务时，需要并行报告其输出、监督探针及随机控制。

🔬 方法详解

问题定义：本文旨在解决稀疏时间序列中对未来活动期的预测问题，现有方法未能有效评估这一特定需求，导致预测性能不足。

核心思路：论文提出通过事件监督的线性探针来改进稀疏事件的排名，强调不仅关注数值预测，更关注事件发生的时间点。

技术框架：整体架构包括数据预处理、模型训练和评估三个主要模块。在数据预处理阶段，构建稀疏数据集；模型训练阶段，使用预训练的TSFM和线性探针；评估阶段，比较不同模型的预测性能。

关键创新：最重要的创新在于引入事件监督的线性探针，显著提升了稀疏事件的预测能力，与传统方法相比，提供了更为精准的事件排名。

关键设计：在模型设计中，采用了冻结的骨干网络，并通过线性探针进行微调，损失函数选择了适合稀疏数据的特定形式，确保了模型在不同数据集上的泛化能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，12个TSFM的点预测在训练无关参考上最多提高了0.031的机会校正平均精度，而在机会校正AUC中，所有数据集的中位数TSFM均低于这些参考。此外，使用事件监督的线性探针在29对骨干-数据集组合中超越了其骨干的点预测，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括金融市场分析、医疗监测和智能制造等，能够帮助决策者更好地识别和预测稀疏事件的发生，从而优化资源配置和风险管理。未来，该方法可能推动更多领域的时间序列分析技术进步。

📄 摘要（原文）

Pretrained time-series foundation models (TSFMs) are evaluated as forecasters of future values, yet for sparse series many decisions depend only on which future periods contain activity. Standard benchmarks do not assess this. On five sparse datasets, we rank positions within forecast windows that contain both events and zeros. The released point forecasts of 12 TSFMs improve chance-corrected average precision over training-free references by at most 0.031, and in chance-corrected AUC the median TSFM falls below them on every dataset. With event supervision, linear probes of six frozen backbones improve on their backbone's point forecast in 29 of 30 backbone--dataset pairs. Averaging the predicted quantiles instead of taking their median improves the ranking of most TSFMs that forecast the median, and on two datasets the strongest such outputs rival the probes. The probes' advantage over raw-context learners depends on the dataset, and under the same probe, pretrained features outperform randomly initialized ones for five of six backbones. For sparse-event ranking, released point forecasts thus add little over simple references, whereas lightweight event heads on frozen TSFMs rank events better than these forecasts, and the best of them exceed gradient-boosted trees trained on the raw context on three of the five datasets. More broadly, assessing pretrained forecasters on tasks beyond value forecasting requires reporting their outputs, supervised probes of their representations, and raw-context and randomized controls side by side, since each supports a different conclusion.