When Does Depth Help? Understanding Layerwise Inference in Tabular Foundation Models
作者: Wenwen Gong, Haotian Gu, Zhen Yang, Jiaying Ma, Hanqing Zhang, Zhongshen Wang, Jingjun Wang, Shouyi Xu, Wei Wang
分类: cs.LG
发布日期: 2026-10-14
💡 一句话要点
提出深度分析以优化表格基础模型的推理效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格基础模型 层次推理 Transformer 预测性能 表示几何 深度学习 模型优化
📋 核心要点
- 现有的表格基础模型在层次推理上存在冗余，难以评估不同输入对深层计算的依赖性。
- 本文通过分析TFMs的层级表示，提出了一种新的方法来理解不同层对预测性能的贡献。
- 实验结果表明，早期层的稳定性与后期层的计算冗余之间存在复杂关系，影响整体预测准确性。
📝 摘要（中文）
基于Transformer的表格基础模型（TFMs）在小到中型表格预测任务中表现出色，但现有研究表明，早期层的预测性能较强，且层间计算存在显著重叠。本文研究了TabPFN-3的24个上下文学习层在272个分类数据集上的表现，结合表示几何、预测轨迹、截断和结构干预等方法，揭示了深层次的维度收缩与类原型分离之间的关系。通过分析早期稳定样本，发现预测类稳定后仍存在显著的表示变化，而局部模糊查询在浅层到深层的准确性提升更大。这些发现为TFMs的深度冗余提供了输入依赖的评估依据。
🔬 方法详解
问题定义：本文旨在探讨在表格基础模型中，深层计算对不同输入的实际贡献，现有方法未能有效区分层次冗余与输入依赖性的问题。
核心思路：通过对TabPFN-3的24个层进行深入分析，结合表示几何和预测轨迹，研究不同层对预测性能的影响，揭示深层计算的必要性。
技术框架：研究采用了多种方法，包括表示几何分析、预测轨迹跟踪、层截断实验和结构干预，系统性地评估了272个分类数据集的表现。
关键创新：提出了层次推理的扩展-压缩轨迹概念，强调了后期层在类原型分离中的作用，突破了传统对层冗余的理解。
关键设计：在实验中，采用了特定的参数设置和结构干预方法，分析了早期稳定样本与局部模糊查询的表现差异，揭示了不同层次的计算对准确性的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，局部模糊查询在从浅层到深层的准确性提升幅度显著，且在特定情况下，重复预训练块或扰动层顺序会导致整体预测性能下降。这些发现为TFMs的层次设计提供了新的视角。
🎯 应用场景
该研究为表格基础模型的优化提供了理论依据，能够在实际应用中提高模型的推理效率，尤其是在处理复杂数据时。未来，相关方法可推广至其他类型的深度学习模型，提升其在多样化任务中的表现。
📄 摘要（原文）
Transformer-based tabular foundation models (TFMs) achieve state-of-the-art performance on small to medium-sized tabular prediction tasks while processing diverse inputs through a shared stack of layers. Recent layerwise analyses identify strong predictive performance in early TFM representations and substantial overlap in computation across layers. However, early predictive accessibility alone does not establish whether later layers are dispensable for every input, and aggregate accuracy can obscure which inputs benefit from additional computation. We study all 24 in-context-learning layers of TabPFN-3 across 272 classification datasets, combining representation geometry, prediction trajectories, truncation, and structural interventions, while also examining related representation dynamics in four additional TFMs. We uncover a pronounced expansion-compression trajectory, with stronger late dimensional contraction associated with larger increases in class-prototype separation. A targeted analysis of early-stabilizing samples shows that substantial representational changes persist after predicted classes stabilize, while locally ambiguous queries obtain larger accuracy gains from shallow to late layers than well-separated queries. Repeating a single pretrained block or perturbing layer order reduces predictive performance on average, constraining simple post-hoc substitutions in the frozen model. These findings distinguish predictive accessibility, class stability, and the benefits of continuing computation, supporting an input-dependent assessment of depthwise redundancy in TFMs.