TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy

📄 arXiv: 2610.13654v1 📥 PDF

作者: Tianqi Zhao, Jia Guo, Yan Shuo Tan, Qiong Zhang

分类: cs.LG

发布日期: 2026-10-09

备注: 53 pages, including supplementary materials. Code: https://github.com/Tianqi-Zhao/TabReliBench

🔗 代码/项目: GITHUB

💡 一句话要点

提出TabReliBench以评估表格基础模型的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 后验预测分布 可靠性评估 多维度评估 TabReliBench 模型选择 数据集分析

📋 核心要点

  1. 现有的表格基础模型在后验预测分布的可靠性评估上存在不足，尤其是在不同数据集和指标下的表现差异。
  2. 论文提出了TabReliBench基准，旨在通过多维度的评估方法来比较TFMs的可靠性，涵盖点预测和分布质量等方面。
  3. 实验结果表明，回归TFMs在边际覆盖上表现良好，但条件覆盖存在问题，且集成方法对校准的改善效果不一。

📝 摘要（中文）

表格基础模型（TFMs）因其强大的预测性能而日益受到关注，但其后验预测分布（PPDs）的可靠性尚未得到充分研究。本文通过点预测、分布质量、边际和子组校准及区间效率评估TFMs的可靠性，并引入TabReliBench，一个用于分类和回归的基准，以进行这些比较和数据集级分析。研究发现，TFMs在不同基准和可靠性指标下的排名存在变化，回归TFMs通常实现近名义的边际覆盖，但这并不意味着有效的条件覆盖。数据集级分析显示，分类难度通常伴随较差的校准，而回归预测性能并不是校准的可靠指标。集成方法提升了预测性能，但并未始终改善PPDs的校准。可靠的TFM选择需要超越聚合排名的多维评估。

🔬 方法详解

问题定义：本文旨在解决表格基础模型在后验预测分布可靠性评估中的不足，现有方法未能全面考虑不同指标和数据集的影响。

核心思路：通过引入TabReliBench基准，论文提供了一种多维度的评估框架，涵盖点预测、分布质量、边际和子组校准等多个方面，以全面评估TFMs的可靠性。

技术框架：整体架构包括数据集选择、模型训练、可靠性指标计算和结果分析四个主要模块。首先选择多样化的数据集，然后训练不同的TFMs，接着计算各类可靠性指标，最后进行结果的比较和分析。

关键创新：最重要的创新在于提出了TabReliBench这一基准，能够系统性地评估TFMs的可靠性，尤其是在不同的可靠性指标下的表现差异，这与现有方法的单一聚合排名评估形成鲜明对比。

关键设计：在实验中，采用了多种损失函数和模型架构，特别关注于边际覆盖和条件覆盖的评估，确保模型在不同数据集上的表现能够被准确反映。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，回归TFMs在边际覆盖上通常接近名义水平，但条件覆盖存在显著问题。集成方法虽然提升了预测性能，但对PPDs的校准改善效果不一，表明需要更全面的评估方法。

🎯 应用场景

该研究的潜在应用领域包括金融风险评估、医疗预测和市场分析等，能够帮助研究人员和工程师更好地选择和评估表格基础模型，提高模型在实际应用中的可靠性和有效性。未来，该基准可能推动更多关于模型可靠性研究的深入探索。

📄 摘要（原文）

Tabular foundation models (TFMs) are increasingly popular for their strong predictive performance. Many also provide posterior predictive distributions (PPDs), whose reliability remains less studied. We assess reliability through point prediction, distributional quality, marginal and subgroup calibration, and interval efficiency. We then introduce TabReliBench, a large classification and regression benchmark for these comparisons and dataset-level analyses. We find that TFMs' rankings change between TabArena and our benchmark and across reliability metrics. Regression TFMs usually achieve near-nominal marginal coverage and retain narrow intervals, but this favorable marginal behavior does not imply valid conditional coverage. Dataset-level analyses show that classification difficulty often accompanies poor calibration, whereas regression predictive performance is not a reliable indicator of calibration. Ensembling improves predictive performance but does not consistently improve calibration of PPDs; TFMs also benefit little from conformal post-processing, which does not reliably resolve subgroup gaps. Reliable TFM selection therefore requires multidimensional evaluation beyond aggregate rankings. Code is available at https://github.com/Tianqi-Zhao/TabReliBench.