TabFM: A Zero-Shot Foundation Model for Tabular Data

📄 arXiv: 2609.37959v1 📥 PDF

作者: Weihao Kong, Erez Louidor Ilan, Shuxin Nie, Taman Narayan, Rajat Sen, Yichen Zhou, Deqing Fu, Samet Oymak, Abhimanyu Das

分类: cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出TabFM以解决表格数据预测的零-shot学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 零-shot学习 基础模型 机器学习 AutoML

📋 核心要点

  1. 现有的表格机器学习方法通常需要针对每个数据集进行特定的调优，效率低下且不具通用性。
  2. TabFM通过将监督表格预测视为上下文学习，提出了一种无需任务特定调优的零-shot预测方法。
  3. 在51个基准数据集上，TabFM在默认表格基础模型中表现最佳，并且超越了调优的AutoML管道。

📝 摘要（中文）

表格机器学习通常依赖于每个数据集的工作流程，为每个任务从头开始拟合树集成或运行AutoML搜索。我们提出了TabFM，一个拥有4亿参数的表格基础模型，将监督表格预测形式化为上下文学习。TabFM在单次前向传递中生成经过校准的零-shot预测，无需特定任务的调优。TabFM完全在由结构因果模型生成的合成表上训练，学习到的通用表格表示能够零-shot迁移到真实世界任务。在TabArena的51个基准数据集中（38个分类和13个回归），零-shot TabFM在默认表格基础模型中排名第一，并超越了调优的AutoML管道。基于相同的冻结权重的两个扩展进一步提高了两个轨道的性能：多视图特征扩展与集成及后处理校准（TabFM+），以及基于LLM的特定数据集数据处理和特征工程（TabFM-Auto）。

🔬 方法详解

问题定义：当前的表格机器学习方法通常依赖于针对每个数据集的特定工作流程，导致效率低下和缺乏通用性。用户需要为每个任务从头开始进行模型训练和调优，增加了时间和资源的消耗。

核心思路：TabFM的核心思路是将监督学习任务转化为上下文学习，通过训练一个大型的基础模型，使其能够在没有任务特定调优的情况下进行零-shot预测。这种方法使得模型能够学习到通用的表格表示，从而在不同的真实世界任务中实现迁移。

技术框架：TabFM的整体架构包括一个大型的基础模型，模型通过在合成表格数据上进行训练，学习到表格数据的结构和特征。模型的输入为表格数据，输出为预测结果。训练过程中使用了结构因果模型生成的合成数据，以增强模型的泛化能力。

关键创新：TabFM的主要创新在于其零-shot学习能力，能够在没有特定任务调优的情况下直接进行预测。这一特性使其在多个基准数据集上表现优异，超越了传统的AutoML方法。

关键设计：TabFM的设计包括4亿个参数的基础模型，采用了合成数据进行训练，模型的损失函数和网络结构经过精心设计，以确保其在不同任务上的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

TabFM在51个基准数据集上表现出色，尤其是在38个分类和13个回归任务中，零-shot TabFM在默认表格基础模型中排名第一，超越了调优的AutoML管道，展示了其强大的通用性和有效性。

🎯 应用场景

TabFM在多个领域具有广泛的应用潜力，尤其是在需要快速适应新任务的场景中，如金融预测、医疗数据分析和市场营销策略优化。其零-shot学习能力使得用户能够在没有大量标注数据的情况下，快速部署模型并获得有效的预测结果，具有显著的实际价值和未来影响。

📄 摘要（原文）

Tabular machine learning typically relies on per-dataset workflows, fitting tree ensembles or running AutoML searches from scratch for every task. We present TabFM, a 400M-parameter tabular foundation model that formulates supervised tabular prediction as in-context learning. TabFM produces calibrated zero-shot predictions in a single forward pass without task-specific tuning. Trained entirely on synthetic tables generated from structural causal models, TabFM learns general tabular representations that transfer zero-shot to real-world tasks. Across all 51 benchmark datasets in TabArena (38 classification and 13 regression), zero-shot TabFM ranks first among default tabular foundation models and outperforms tuned AutoML pipelines. Two extensions over the same frozen weights improve performance further on both tracks: multi-view feature expansion with ensembling and post-hoc calibration (TabFM+), and LLM-guided, dataset-specific data processing and feature engineering (TabFM-Auto).