Thinking in Depth: Retrospective Inference for Tabular Foundation Models
作者: Hao-Run Cai, Si-Yang Liu, Zi-Jian Cheng, Kun-Yang Yu, Jin-Hao Sheng, Guo Yu, Chonghan Liu, Zhi Zhou, Jun-Peng Jiang, Lan-Zhe Guo, Han-Jia Ye
分类: cs.LG
发布日期: 2026-10-07
💡 一句话要点
提出Retro模型以优化表格基础模型的预测精度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格基础模型 回溯推理 Transformer 信息重用 预测精细化 深度学习 机器学习
📋 核心要点
- 现有的表格基础模型在深度上的预测精细化不均匀，导致信息利用不足。
- 本文提出Retro模型，通过回溯推理显式重用中间表示，优化信息组合和更新过程。
- 在TabArena、TALENT和RelArena等基准上，Retro模型表现优异，排名前列，显示出深度利用的有效性。
📝 摘要（中文）
表格基础模型（TFMs）在多种表格任务上进行预训练，并在推理时利用标记示例进行预测。现有TFMs通过堆叠的Transformer层进行上下文预测，但在深度上的预测精细化不均匀，通常集中在后层。为此，本文提出Retro模型，基于回溯推理，允许后期阶段显式地重新访问和重组早期产生的中间信息。Retro通过自适应重加权不同深度的贡献和条件化门控注意力来优化信息更新，从而在深度上更广泛地提升预测精细化。实验结果表明，Retro在多个基准测试中表现优异，位于Pareto前沿。
🔬 方法详解
问题定义：本文旨在解决现有表格基础模型在深度上预测精细化不均匀的问题，导致信息利用不足，影响模型性能。
核心思路：提出Retro模型，通过回溯推理机制，允许后期层显式地重新访问和重组早期生成的中间信息，从而优化信息的利用和更新。
技术框架：Retro模型的整体架构包括两个主要操作：选择需要重新访问的中间信息和为每个查询调整上下文更新。使用注意力残差自适应重加权不同深度的贡献，并通过查询条件门控注意力调节注意力输出。
关键创新：Retro模型的创新在于引入回溯推理机制，使得模型能够在不同深度之间更有效地重用中间表示，从而实现更广泛的预测精细化，与传统模型的单向信息流动形成鲜明对比。
关键设计：模型设计中，注意力残差用于动态调整不同层的贡献，查询条件门控注意力则在表示维度上逐元素调节输出，确保每个查询都能获得最相关的信息更新。具体参数设置和损失函数的设计细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Retro模型在TabArena、TALENT和RelArena基准测试中均排名前列，位于Pareto前沿，表明其在深度利用和信息重用方面的显著优势，提升幅度明显，展示了回溯推理的有效性。
🎯 应用场景
该研究的潜在应用领域包括金融数据分析、医疗记录处理和市场研究等，能够帮助分析师更准确地从复杂的表格数据中提取信息。未来，Retro模型的设计理念可能推动更多领域的模型优化，提升数据驱动决策的效率和准确性。
📄 摘要（原文）
Tabular foundation models (TFMs) are pretrained across diverse tabular tasks and make predictions on a new table at inference time using its labeled examples as context. Most recent TFMs perform such in-context prediction with stacked Transformer layers, repeatedly transforming how examples are represented and compared. By tracing individual queries through several strong TFMs, we find that predictive refinement is highly uneven across depth and is often concentrated in later layers. This uneven refinement motivates us to reconsider how intermediate representations are constructed and reused throughout the network. We introduce Retro, a tabular foundation model based on retrospective inference, where later stages can explicitly revisit and recombine intermediate information produced earlier in the network. Retro organizes this process around two complementary operations: which intermediate information to revisit, and how the resulting contextual update should be shaped for each query. Attention Residuals address the former by adaptively reweighting contributions from different depths, while query-conditioned Gated Attention addresses the latter by modulating the attention output element-wise across representation dimensions. Our analysis shows that Retro shifts predictive refinement earlier and more broadly across depth, with different stages revising different subsets of queries in a pattern suggestive of multi-view refinement. Across TabArena, TALENT, and RelArena, Retro ranks among the top three and lies on the Pareto frontier. These results indicate that directly reusing intermediate representations provides a practical way to better exploit depth in TFMs.