From Tables to Time: How TabPFN-v2 Outperforms Specialized Time Series Forecasting Models

📄 arXiv: 2501.02945v3 📥 PDF

作者: Shi Bin Hoo, Samuel Müller, David Salinas, Frank Hutter

分类: cs.LG

发布日期: 2025-01-06 (更新: 2025-05-26)

备注: This version extends our NeurIPS 2024 workshop paper, The Tabular Foundation Model TabPFN Outperforms Specialized Time Series Forecasting Models Based on Simple Features, presented at the Table Representation Learning and Time Series in the Age of Large Models workshops

🔗 代码/项目: GITHUB

💡 一句话要点

TabPFN-v2在时间序列预测中超越专用模型：结合特征工程实现高效预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 表格数据 基础模型 迁移学习 特征工程

📋 核心要点

  1. 传统时间序列预测模型需要大量训练数据，且泛化能力有限，难以适应新场景。
  2. TabPFN-TS利用TabPFN-v2的强大泛化能力，结合轻量级特征工程，实现高效的时间序列预测。
  3. 实验表明，TabPFN-TS在GIFT-Eval排行榜上取得领先，证明了表格基础模型在时间序列预测中的潜力。

📝 摘要（中文）

本文展示了通用表格基础模型TabPFN-v2如何有效地应用于时间序列预测。我们提出了TabPFN-TS，一种将TabPFN-v2与轻量级特征工程相结合的简单方法，能够进行点预测和概率预测。尽管其简单且紧凑（11M参数），TabPFN-TS在GIFT-Eval公开排行榜的两个预测任务中均名列前茅。通过消融研究，我们调查了促成这种惊人有效性的因素，特别是考虑到TabPFN-v2仅在合成表格数据上进行了预训练，而没有接触过时间序列。我们的结果突出了像TabPFN-v2这样的表格基础模型作为时间序列预测的一种有价值的新方法的潜力。我们的实现可在https://github.com/PriorLabs/tabpfn-time-series 获取。

🔬 方法详解

问题定义：论文旨在解决时间序列预测问题，现有方法通常需要大量特定领域的数据进行训练，并且模型复杂度高，难以部署和泛化。特别是在数据量有限的情况下，传统时间序列模型表现不佳。

核心思路：论文的核心思路是利用预训练的表格数据基础模型TabPFN-v2的泛化能力，将其迁移到时间序列预测任务中。通过结合轻量级的特征工程，将时间序列数据转换为表格数据，从而利用TabPFN-v2进行预测。这种方法避免了从头开始训练复杂的深度学习模型，降低了对大量训练数据的需求。

技术框架：TabPFN-TS的整体框架包括两个主要阶段：1) 特征工程阶段：将时间序列数据转换为表格数据，提取时间序列的统计特征和时间相关特征。2) 预测阶段：将提取的表格特征输入到预训练的TabPFN-v2模型中，进行点预测和概率预测。

关键创新：该方法最重要的创新点在于将表格数据基础模型成功应用于时间序列预测。与传统的时间序列模型相比，TabPFN-TS不需要针对特定时间序列数据进行大量训练，而是利用了TabPFN-v2在大量合成表格数据上学习到的先验知识。这使得TabPFN-TS在数据量有限的情况下也能表现出色。

关键设计：特征工程部分的设计至关重要，需要选择合适的特征来表示时间序列的特性。论文中使用的特征包括统计特征（如均值、方差、最大值、最小值等）和时间相关特征（如滞后值、季节性指标等）。TabPFN-v2模型本身是一个预训练好的模型，不需要进行额外的训练。损失函数方面，根据预测任务的类型选择合适的损失函数，例如均方误差（MSE）用于点预测，负对数似然（NLL）用于概率预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TabPFN-TS在GIFT-Eval公开排行榜上取得了领先地位，证明了其在时间序列预测方面的有效性。该模型仅使用11M参数，相比于其他专用时间序列模型，具有更小的模型尺寸和更高的效率。消融研究表明，TabPFN-v2的预训练是TabPFN-TS成功的关键因素。

🎯 应用场景

该研究成果可广泛应用于各种时间序列预测场景，例如金融市场预测、销售预测、需求预测、能源消耗预测等。尤其适用于数据量有限或需要快速部署的场景。该方法有望降低时间序列预测的门槛，使更多领域能够受益于人工智能技术。

📄 摘要（原文）

Foundation models have become increasingly popular for forecasting due to their ability to provide predictions without requiring a lot of training data. In this work, we demonstrate how TabPFN-v2, a general tabular foundation model, can be effectively applied to time series forecasting. We introduce TabPFN-TS, a simple method that combines TabPFN-v2 with lightweight feature engineering to enable both point and probabilistic forecasting. Despite its simplicity and compact size (11M parameters), TabPFN-TS achieves top rank on the public GIFT-Eval leaderboard in both forecasting tasks. Through ablation studies, we investigate factors contributing to this surprising effectiveness, especially considering TabPFN-v2 was pretrained solely on synthetic tabular data with no exposure to time series. Our results highlights the potential of tabular foundation models like TabPFN-v2 as a valuable new approach for time series forecasting. Our implementation is available at https://github.com/PriorLabs/tabpfn-time-series.