Tabular Foundation Models Are Effectively Shallow

📄 arXiv: 2610.13253v1 📥 PDF

作者: Irene Cannistraci, Julia E. Vogt

分类: cs.LG, cs.AI

发布日期: 2026-10-09

💡 一句话要点

提出一种简化的标签无关仿射转换器以优化表格基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 深度学习 参数优化 仿射转换器 计算效率 机器学习

📋 核心要点

  1. 现有的表格基础模型在计算和内存开销上过于庞大，传统方法如GBDT在效率上更具优势。
  2. 本文提出了一种闭合形式的标签无关仿射转换器，能够有效去除多达96%的变换器块，简化模型结构。
  3. 实验结果表明，简化后的模型在保持性能的同时，显著减少了参数数量和推理时间，提升了效率。

📝 摘要（中文）

在上下文学习的表格基础模型（TFMs）中，尽管其在资源有限或隐私受限的场景中表现出色，但其多层变换器架构导致了高计算和内存开销。传统的梯度提升决策树（GBDTs）在效率上仍具竞争力，表明表格任务并不一定需要深层架构。为此，本文提出了一种闭合形式的标签无关仿射转换器，能够在不牺牲性能的情况下，去除多达96%的变换器块。通过在171个分类数据集上评估八种前沿TFMs，结果显示表格变换器存在过度参数化现象，简化模型后仍能保持高性能。

🔬 方法详解

问题定义：本文旨在解决表格基础模型（TFMs）在计算和内存开销上的过度负担，探讨是否可以通过简化架构而不损失性能。现有的TFMs架构复杂，导致资源消耗高，且在某些任务中并不必要。

核心思路：论文提出了一种闭合形式的标签无关仿射转换器，能够替换多达96%的变换器块，从而简化模型结构。通过这种方式，模型的深度得以减少，同时保持其在表格任务中的性能。

技术框架：整体架构包括多个变换器块，论文通过引入仿射转换器替换部分块，保留其他部分不变。评估过程涉及171个分类数据集，比较不同模型的性能。

关键创新：最重要的创新在于提出了一种有效的简化方法，能够在不牺牲性能的情况下，显著减少模型的深度和参数数量。这一方法与传统深度学习模型的设计理念形成鲜明对比。

关键设计：在实验中，替换模型的一半块后，AUROC的中位数损失仅为0.002，且半深度的TabFM在性能上超越了所有全深度TFMs和调优后的GBDTs。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，简化模型后，参数数量减少了最多1.5亿，GPU推理速度提升至原来的6倍，且中位数AUROC损失仅为0.03。单块TabPFN-3在缓存查询时速度提升2.4倍，内存使用减少6倍，性能损失微乎其微。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和其他需要处理表格数据的行业。通过简化模型，能够在资源受限的环境中实现高效的推理，提升用户体验和系统响应速度。未来，这种简化方法可能会推动更多轻量级模型的开发，适应更广泛的应用场景。

📄 摘要（原文）

In-context-learning Tabular Foundation Models (TFMs) are uniquely suited to scenarios with limited resources or privacy constraints, as they solve new tasks without additional training. However, their architecture consists of multiple transformer blocks, resulting in high computational and memory footprints. Meanwhile, traditional alternatives like Gradient-Boosted Decision Trees (GBDTs) remain highly competitive and run efficiently on CPUs, suggesting that tabular tasks may not inherently require deep architectures. This contrast raises a fundamental question: can TFMs be simplified by removing architectural redundancies without sacrificing performance? To answer this, we introduce a closed-form, label-free affine translator that replaces a contiguous window of up to 96% of the blocks, leaving the rest unchanged. Evaluating eight frontier TFMs on 171 classification datasets, we reveal that tabular transformers are vastly overparameterized: replacing half of a model's blocks costs at most $0.002$ median AUROC across all architectures, with the half-depth TabFM still outperforming every other full-depth TFMs and tuned GBDTs. Furthermore, different model families are overparameterized in different ways: TabPFN-3 relies on its encoders, maintaining performance regardless of which single block is retained. Other single-axis models spread computation thinly, needing only their first block, while dual-axis models concentrate it in one critical block. Ultimately, removing depth saves up to 1.5B parameters, speeds up GPU inference by up to $6\times$ at a median cost of $0.03$ AUROC, while a single-block TabPFN-3 serves cached queries $2.4\times$ faster using $6\times$ less memory at negligible cost.