Beyond Static Leaderboards: Capability-Focused Evaluation with Structural Diversity for Time Series Foundation Models

📄 arXiv: 2610.26251v1 📥 PDF

作者: Hongyin Zhang, Mingyi Xiang, Rongzhao Chen, Yankai Wang, Jialin Qiao, Xiangdong Huang, Xiaoou Ding, Chen Wang, Zhongyi Pei, Jianmin Wang

分类: cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出CaFE以解决时间序列基础模型评估的局限性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列模型 能力评估 结构特征 数据重抽样 模型选择 预测泛化 多维度评估

📋 核心要点

  1. 现有的静态基准测试限制了时间序列基础模型的评估，导致模型性能反映的是对特定测试集的适应性。
  2. 论文提出CaFE方法，通过定义结构特征并重新抽样数据，丰富了评估集的结构多样性，提供更全面的能力评估。
  3. 实验结果显示，CaFE在GIFT-Eval和FEV-Mini20上表现稳定，能够揭示模型的特征优缺点，超越传统的聚合评分方法。

📝 摘要（中文）

静态公共基准测试对于时间序列基础模型（TSFMs）通常具有固定且狭窄的测试分布，导致模型性能反映的是对固定测试集的适应性而非真实的预测泛化。本文提出了CaFE（能力聚焦评估），通过丰富静态基准的结构多样性，提供多维度的能力导向评估。CaFE首先对原始基准进行分析，定义了八个结构特征（SFs），然后根据这些特征重新抽样数据，去除边缘样本，并通过改变特征的显著性来增强样本。实验结果表明，CaFE能够稳定评估模型表现，并揭示单一聚合评分所隐藏的特征优缺点。

🔬 方法详解

问题定义：现有的静态基准测试对于时间序列基础模型（TSFMs）存在固定测试分布的问题，导致模型性能评估偏向于对特定数据集的适应性，而非真实的预测能力。

核心思路：本文提出的CaFE方法通过分析原始基准数据，定义八个结构特征（SFs），并根据这些特征重新抽样数据，从而丰富评估集的结构多样性，提供多维度的能力评估。

技术框架：CaFE的整体流程包括对原始基准的分析、结构特征的定义、数据的重新抽样与增强、以及最终的模型评估。每个阶段都旨在提升评估的全面性与准确性。

关键创新：CaFE的主要创新在于其能力聚焦的评估方式，通过多维度的特征分析，克服了传统方法仅依赖单一聚合评分的局限性。

关键设计：在数据抽样过程中，CaFE去除了边缘样本，并通过调整结构特征的显著性来增强样本多样性，确保评估集的代表性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CaFE在GIFT-Eval和FEV-Mini20数据集上的评估结果稳定，能够揭示模型在不同特征上的优缺点。与传统的聚合评分方法相比，CaFE选择的模型在真实数据上表现更优，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括金融预测、气象数据分析和工业监控等时间序列数据密集的领域。通过提供更全面的模型评估，CaFE能够帮助研究人员和工程师选择更具泛化能力的模型，从而提升实际应用中的预测准确性和可靠性。

📄 摘要（原文）

Static public benchmarks for time series foundation models (TSFMs) typically have fixed and narrow test distributions. Their repeated reuse encourages benchmark-specific tuning, making reported performance reflect adaptation to the fixed test set rather than genuine forecasting generalization. In addition, a single aggregate score cannot fully characterize model capabilities across distinct temporal structures and input relationships. We propose CaFE (Capability-Focused Evaluation), a refreshable evaluation extension grounded in original benchmark data that enriches static benchmarks with structural diversity and enriches single-score black-box evaluation with multi-dimensional, capability-oriented assessment. CaFE first profiles the original benchmark and defines eight Structural Features (SFs) that characterize its temporal structure. For each SF, it resamples the original data according to its structural support, removes edge-of-distribution samples, and augments the retained samples by varying the SF's salience, producing samples with different structural profiles. After filtering out out-of-distribution samples while preserving diversity, CaFE yields a refreshed evaluation set. TSFMs are then evaluated on this set using both conventional forecast-error metrics and intervention-response metrics, giving each model a per-feature capability profile alongside endpoint accuracy. Experiments on GIFT-Eval and FEV-Mini20 show that CaFE yields stable evaluation results and reveals per-feature strengths and weaknesses that a single aggregate score hides. Moreover, on genuine data filtered by structural condition, models selected by CaFE outperform those chosen by the aggregate leaderboard. CaFE therefore makes model selection conditional on the structural response of interest.