Test-Time Compute for Tabular Foundation Models: Mechanisms, Gains, and Limits

📄 arXiv: 2610.12005v1 📥 PDF

作者: Kanghui Ning, Marin Biloš, James T. Wilson, Yilang Zhang, Kashif Rasul, Dongjin Song, Anderson Schneider, Yuriy Nevmyvaka

分类: cs.LG

发布日期: 2026-10-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出测试时计算机制以提升表格基础模型的预测性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 测试时计算 适应性 聚合策略 上下文构建 机器学习 数据挖掘

📋 核心要点

  1. 现有的表格基础模型在测试时计算的有效性尚未得到充分研究，导致预测性能受限。
  2. 提出了DiagScale方法，通过对角查询-键相似性更新，仅需微调极少量参数，显著提升模型性能。
  3. 实验结果显示，适应性和选择性聚合在多个基准上均取得了显著的性能提升，尤其是在大规模数据集上。

📝 摘要（中文）

本文系统研究了在强大的预训练表格基础模型（TFMs）中，哪些测试时计算形式能够改善预测。研究从适应性、聚合和上下文构建三个方面进行评估，涵盖了TabArena基准上的现代TFMs，并补充了来自OpenML的宽大规模表格实验。我们提出了DiagScale，一种对角查询-键相似性更新方法，仅训练0.003-0.03%的模型参数，且在三个独立预训练的基础上实现了与完全微调相当的提升。聚合方面，池组合和选择策略均影响结果。上下文构建中，基于注意力的检索在某些大表格上改善了预测。总体结果表明，适应性和选择性聚合能带来一致的基准级提升，而上下文构建的效果则依赖于任务和数据情况。

🔬 方法详解

问题定义：本文旨在解决强大的预训练表格基础模型在测试时计算中的有效性问题。现有方法在适应性和聚合策略上存在不足，导致预测性能未能达到最佳。

核心思路：论文提出了三种机制：适应性、聚合和上下文构建，重点在于通过微调少量参数和选择性聚合来提升模型的预测能力。

技术框架：整体架构包括三个主要模块：1) 适应性模块，通过DiagScale更新模型参数；2) 聚合模块，采用不同的池组合和选择策略；3) 上下文构建模块，利用注意力机制进行信息检索。

关键创新：最重要的技术创新是DiagScale方法，它通过对角查询-键相似性更新，仅训练极少量的模型参数，且在多个预训练基础上实现了与完全微调相当的性能提升。

关键设计：在适应性模块中，参数更新仅占模型总参数的0.003-0.03%；聚合模块中，采用贪婪选择策略以减少错误率2.4%；上下文构建模块中，注意力引导的检索方法用于改善大表格的预测。实验表明，选择性聚合和适应性结合能进一步提升性能，但计算成本显著增加。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，采用贪婪选择策略的聚合方法相较于默认预测器减少了2.4%的错误率，而上下文构建方法在某些大表格上也显著改善了预测性能。这些结果表明，适应性和选择性聚合在多个基准上均取得了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括金融数据分析、医疗记录处理和大规模数据挖掘等。通过提升表格基础模型的预测能力，能够为决策支持系统提供更准确的分析结果，进而影响商业智能和数据驱动决策的未来发展。

📄 摘要（原文）

Which forms of test-time compute improve the predictions of strong pretrained tabular foundation models (TFMs)? We systematically study this along three axes: adaptation, aggregation, and context construction. Our evaluation spans modern TFMs across the TabArena benchmark, supplemented by experiments on wide and large-scale tables from OpenML. For adaptation, we introduce DiagScale, a diagonal query-key similarity update. It trains only 0.003-0.03% of model parameters and achieves gains comparable to full fine-tuning across three independently pretrained backbones. For aggregation, both pool composition and selection strategy matter. TabPFN-3 already averages predictions from different preprocessing variants of the same data, and adding more such predictions yields diminishing returns. With a broader pool of 96 configurations, greedy selection reduces error by 2.4% relative to the default predictor, but uniform averaging increases error. For context construction, attention-guided retrieval improves TabPFN-3's predictions on some large tables and supports source pools beyond the full context memory limit. The context expansion methods we test yield no consistent improvement. Taken together, our results suggest that adaptation and selective aggregation yield consistent benchmark-level gains. The benefits of context construction depend more on the task and data regime. Adaptation and aggregation over the same backbone yield further gains when combined, but require substantially more computation than default inference. These trade-offs motivate choosing strategies according to the available computation budget. Code is available at https://github.com/kanghui-learning/test-time-compute-for-tabular-foundation-models.