Evaluating Accuracy and Probabilistic Reliability of Zero-Shot Time Series Foundation Models

📄 arXiv: 2609.25788v1 📥 PDF

作者: Panagiotis Michael, Moysis Symeonides, Demetris Trihinas

分类: cs.LG, cs.AI

发布日期: 2026-09-22

备注: Accepted for publication at the 30th European Conference on Advances in Databases and Information Systems (ADBIS 2026)

💡 一句话要点

提出基于零-shot时间序列模型的准确性与可靠性评估方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 零-shot学习 概率校准 深度学习 模型评估

📋 核心要点

  1. 现有时间序列预测方法在准确性与概率校准之间存在显著的权衡，影响了模型的实际应用效果。
  2. 本文提出了一种基准研究方法，评估六种时间序列基础模型在不同数据集上的表现，旨在揭示其优缺点。
  3. 实验结果显示，xLSTM在概率校准方面表现优异，而补丁变换器在准确性上具有竞争力，但在长时间段的校准上存在问题。

📝 摘要（中文）

时间序列基础模型（TSFMs）承诺通过消除特定任务训练实现零-shot预测的范式转变。然而，现有研究往往忽视了预测准确性与概率校准之间的权衡。本文对六种TSFM在能源、交通和金融数据集上的表现进行了基准研究，并与统计基线和监督深度学习模型进行了对比。研究表明，尽管TSFM在性能上优于统计方法和监督模型，但它们在点预测准确性与概率可靠性之间存在根本性权衡。具体而言，xLSTM架构在各个预测时间段提供了稳健的概率校准，而基于补丁的变换器在长时间段面临校准问题，变换器模型则在实现最佳零-shot推理时表现出上下文饱和点。这些发现为在实际应用中平衡泛化能力与不确定性量化提供了基于证据的指导。

🔬 方法详解

问题定义：本文旨在解决时间序列基础模型在预测准确性与概率可靠性之间的权衡问题。现有方法往往忽视了这一点，导致模型在实际应用中的有效性受到限制。

核心思路：通过对六种不同的时间序列基础模型进行基准评估，比较它们在多种数据集上的表现，揭示各模型在准确性与可靠性方面的优缺点，从而为实际应用提供指导。

技术框架：研究采用了基准测试的方式，涵盖了能源、交通和金融数据集。主要模块包括模型选择、性能评估和结果分析，重点比较了TSFM与传统统计方法及监督学习模型的表现。

关键创新：本研究的创新点在于系统性地揭示了不同时间序列基础模型在预测准确性与概率校准之间的权衡，特别是xLSTM和补丁变换器的表现差异，为后续研究提供了新的视角。

关键设计：在实验中，采用了多种数据集进行评估，设置了不同的预测时间段，并使用了适当的损失函数和网络结构，以确保模型的有效性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，xLSTM在各个预测时间段内提供了稳健的概率校准，而补丁变换器在短期内表现出色，但在长时间段的校准上存在明显问题。与传统统计方法相比，TSFM的性能提升显著，尤其在准确性和可靠性方面的平衡提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括能源管理、交通流量预测和金融市场分析等。通过提供更准确和可靠的时间序列预测，能够帮助决策者在复杂环境中做出更明智的选择，提升资源配置效率和风险管理能力。

📄 摘要（原文）

Time Series Foundation Models (TSFMs) promise a paradigm shift toward zero-shot forecasting by eliminating task-specific training. However, existing works often overlook trade-offs between predictive accuracy and probabilistic calibration. This paper presents a benchmark study of six TSFMs evaluated on energy, traffic, and financial datasets. We contrast their performance against statistical baselines and a supervised DL model. The study reveals that while TSFMs outperform statistical methods and supervised models, they are subject to a fundamental trade-off between point accuracy and probabilistic reliability. Specifically, xLSTM architectures provide robust probabilistic calibration across horizons. In contrast, patch-based transformers offer competitive accuracy but face calibration issues at long horizons, while transformer-based models exhibit context saturation points for optimal zero-shot reasoning. These findings offer evidence-based guidance for balancing generalization and uncertainty quantification in real-world deployments.