GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation

📄 arXiv: 2410.10393v2 📥 PDF

作者: Taha Aksu, Gerald Woo, Juncheng Liu, Xu Liu, Chenghao Liu, Silvio Savarese, Caiming Xiong, Doyen Sahoo

分类: cs.LG, stat.ML

发布日期: 2024-10-14 (更新: 2024-11-11)

🔗 代码/项目: GITHUB

💡 一句话要点

GIFT-Eval：通用时间序列预测模型评估的综合基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 基准测试 零样本学习 基础模型 模型评估

📋 核心要点

  1. 现有时间序列预测模型缺乏在多样化数据集上的全面评估，阻碍了基础模型的发展。
  2. GIFT-Eval提供了一个包含大量数据集和时间序列的综合基准，用于评估通用时间序列预测模型。
  3. 论文分析了17个基线模型，并提供了定性和定量分析，为未来时间序列基础模型的发展提供指导。

📝 摘要（中文）

时间序列基础模型在零样本预测方面表现出色，无需显式训练即可处理各种任务。然而，由于缺乏全面的基准，这些模型的发展受到了阻碍。为了解决这个问题，我们推出了通用时间序列预测模型评估基准GIFT-Eval，旨在促进跨多样化数据集的评估。GIFT-Eval包含23个数据集，超过144,000条时间序列和1.77亿个数据点，涵盖七个领域、十种频率、多元输入以及从短期到长期预测的预测长度。为了有效预训练和评估基础模型，我们还提供了一个包含约2300亿个数据点的非泄漏预训练数据集。此外，我们还对17个基线进行了全面分析，包括统计模型、深度学习模型和基础模型。我们讨论了各种基准特征背景下的每个模型，并提供了涵盖深度学习和基础模型的定性分析。我们相信，通过这项分析获得的见解，以及访问这个新的标准零样本时间序列预测基准，将指导未来时间序列基础模型的发展。代码、数据和排行榜可在https://github.com/SalesforceAIResearch/gift-eval找到。

🔬 方法详解

问题定义：论文旨在解决时间序列基础模型缺乏统一、全面的评估基准的问题。现有方法难以在各种数据集、领域和预测长度上进行有效评估，阻碍了模型的进一步发展和泛化能力的提升。缺乏统一的评估标准也使得不同模型之间的比较变得困难。

核心思路：论文的核心思路是构建一个大规模、多样化的时间序列数据集，并基于此数据集设计一个全面的评估基准。通过在GIFT-Eval上评估各种时间序列模型，可以更全面地了解它们的性能和局限性，从而促进时间序列基础模型的发展。这种方法旨在提供一个公平、客观的平台，用于比较和改进不同的时间序列预测方法。

技术框架：GIFT-Eval包含一个大规模的时间序列数据集和一个评估框架。数据集包含23个数据集，涵盖7个领域、10种频率，包含多元输入，预测长度从短期到长期不等。评估框架提供了一套标准的评估指标和流程，用于评估不同时间序列模型的性能。此外，论文还提供了一个非泄漏的预训练数据集，用于预训练时间序列基础模型。

关键创新：GIFT-Eval的关键创新在于其数据集的规模和多样性，以及评估框架的全面性。与现有的时间序列数据集相比，GIFT-Eval包含更多的数据点、更多的数据集和更广泛的领域。这使得GIFT-Eval能够更全面地评估时间序列模型的泛化能力。此外，GIFT-Eval的评估框架提供了一套标准的评估指标和流程，使得不同模型之间的比较更加公平和客观。

关键设计：GIFT-Eval的数据集包含了各种领域的时间序列数据，例如经济、能源、交通等。为了确保数据集的质量，论文对数据进行了清洗和预处理。评估框架使用了常用的时间序列预测指标，例如均方误差（MSE）、平均绝对误差（MAE）等。论文还对17个基线模型进行了评估，包括统计模型、深度学习模型和基础模型。这些基线模型可以作为GIFT-Eval的参考，用于比较新的时间序列模型。

📊 实验亮点

论文对17个基线模型进行了评估，结果表明，不同的模型在不同的数据集和预测长度上表现不同。例如，一些深度学习模型在长期预测上表现优于统计模型，而一些统计模型在短期预测上表现更好。这些结果表明，选择合适的模型对于时间序列预测至关重要。GIFT-Eval提供了一个全面的评估平台，可以帮助研究人员和工程师选择最适合特定任务的模型。

🎯 应用场景

GIFT-Eval可广泛应用于时间序列预测模型的开发和评估，例如金融预测、能源需求预测、供应链管理等。该基准能够帮助研究人员和工程师更好地了解不同模型的性能，并选择最适合特定任务的模型。此外，GIFT-Eval还有助于推动时间序列基础模型的发展，从而提高时间序列预测的准确性和效率。

📄 摘要（原文）

Time series foundation models excel in zero-shot forecasting, handling diverse tasks without explicit training. However, the advancement of these models has been hindered by the lack of comprehensive benchmarks. To address this gap, we introduce the General Time Series Forecasting Model Evaluation, GIFT-Eval, a pioneering benchmark aimed at promoting evaluation across diverse datasets. GIFT-Eval encompasses 23 datasets over 144,000 time series and 177 million data points, spanning seven domains, 10 frequencies, multivariate inputs, and prediction lengths ranging from short to long-term forecasts. To facilitate the effective pretraining and evaluation of foundation models, we also provide a non-leaking pretraining dataset containing approximately 230 billion data points. Additionally, we provide a comprehensive analysis of 17 baselines, which includes statistical models, deep learning models, and foundation models. We discuss each model in the context of various benchmark characteristics and offer a qualitative analysis that spans both deep learning and foundation models. We believe the insights from this analysis, along with access to this new standard zero-shot time series forecasting benchmark, will guide future developments in time series foundation models. Code, data, and the leaderboard can be found at https://github.com/SalesforceAIResearch/gift-eval .