What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates
作者: Tian Zhou, Beverly Jin, Linxiao Yang, Xue Wang, Wenwei Wang, Bingqing Peng, Mengni Ye, Jinjie Gu, Liang Sun
分类: cs.LG
发布日期: 2026-09-23
💡 一句话要点
提出在上下文中通过注意力门控更新进行表格基础模型的表示精炼
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格基础模型 表示精炼 注意力机制 动态更新 机器学习
📋 核心要点
- 核心问题：现有表格基础模型在处理每个新任务时缺乏有效的表示更新机制，导致性能不佳。
- 方法要点：提出在位表示精炼，通过支持标签指导表示更新，且这些更新能够转移到未标记的查询中。
- 实验或效果：RefineICL-L24在多个基准测试中表现优异，超越了现有方法，显示出显著的性能提升。
📝 摘要（中文）
本文探讨了表格基础模型在每个表格定义新监督任务时应学习的可重用计算。我们提出了在位表示精炼的方法：支持标签指导对情境表示的更新，这些更新在不改变模型参数的情况下转移到未标记查询。通过正则化的留一法目标，获得支持校正及其查询扩展。我们设计了RefineICL，一个无前馈神经网络的注意力门控上下文堆栈，结合选择的低秩特征交互和类型化记忆。实验结果显示，RefineICL-L24在AMLB29上达到了0.93836的OVR-AUC和0.87173的准确率，且在TabArena快照中表现优于现有基线。
🔬 方法详解
问题定义：本文旨在解决表格基础模型在每个新任务中如何有效学习和更新表示的问题。现有方法往往缺乏灵活性，无法适应不同的任务需求，导致模型性能下降。
核心思路：我们提出的在位表示精炼方法，利用支持标签来指导模型的表示更新。这种方法允许模型在不改变参数的情况下，动态调整其对未标记查询的响应，从而提高任务适应性。
技术框架：整体架构包括一个注意力门控的上下文堆栈，结合了低秩特征交互和类型化记忆。模型通过支持标签进行更新，并在每个任务中动态调整表示。
关键创新：最重要的技术创新在于引入了注意力门控机制，使得模型能够在上下文中进行有效的表示更新。这一设计与传统的静态模型更新方式形成鲜明对比，显著提升了模型的灵活性和适应性。
关键设计：我们采用了正则化的留一法目标作为损失函数，确保支持校正和查询扩展的有效性。同时，模型在设计上避免了前馈神经网络的使用，降低了计算复杂度，并在内存使用上进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RefineICL-L24在AMLB29数据集上达到了0.93836的OVR-AUC和0.87173的准确率，超越了TabPFN-3模型，提升幅度达到31.4 Elo。此外，在TabArena快照中，模型表现出1644.8 Elo的成绩，显示出其在多任务学习中的优势。
🎯 应用场景
该研究的潜在应用领域包括金融数据分析、医疗记录处理和任何需要处理表格数据的机器学习任务。通过提高模型在不同任务中的适应能力，能够显著提升实际应用中的决策支持和预测准确性，具有广泛的实际价值和未来影响。
📄 摘要（原文）
What reusable computation should a tabular foundation model learn when every table defines a new supervised task? We develop in-situ representation refinement: support labels guide updates to the episode's representations, and these updates transfer to unlabeled queries without changing model parameters. A regularized leave-one-out objective yields a support correction and its query extension. The leading term separates attention-based reading from state-dependent scaling, motivating RefineICL: an attention-gated, FFN-free contextual stack with selected low-rank feature interaction and typed memory. RefineICL-L24 reaches 0.93836 OVR-AUC and 0.87173 accuracy on AMLB29. A benchmark-informed continuation reaches 1644.8 Elo on the 38-dataset TabArena snapshot, 31.4 Elo above TabPFN-3 under the same evaluation. It also improves all four reported metrics over TabPFN-v3 on both TabZilla views. In a matched 100K-update depth grid, an expanded FFN gives no consistent validation benefit and uses 60.2% more peak inference memory at L8. Internal interventions show that support representations are more than a static source of labels: removing one intermediate support update, while preserving the query output, increases final query cross-entropy in all 72 tested episodes. Together, the derivation and interventions explain how attention-gated updates can construct a task-specific predictor in context.