The Standardization Trap: Certifying Joint Label Processing in Tabular Foundation Models
作者: Duong Nguyen, Nicolas Chesneau, Milan Bhan
分类: cs.AI, cs.LG
发布日期: 2026-10-06
💡 一句话要点
提出联合标签处理的认证方法以解决标准化陷阱问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格基础模型 联合标签处理 标准化陷阱 模型可解释性 注意力机制
📋 核心要点
- 现有的预训练表格基础模型在处理标签时存在标准化陷阱，导致模型行为的解释变得复杂。
- 本文提出了两个证书，专注于标准化标签的预测，能够有效区分固定权重预测与非线性标签变换。
- 实验结果表明，标签间的交互影响在模型训练中逐渐显现，且注意力机制在其中起到了关键作用。
📝 摘要（中文）
线性回归和核平滑为上下文学习提供了可解释性，但在预训练的表格基础模型（TFMs）中，这种固定权重的解释是否适用尚不明确。由于公共TFM包在模型接收标签之前就进行了标准化，导致普通导数反映了标准化标签集之外的行为，使得模型看起来是非线性的。本文提出了两个仅依赖于标准化标签预测的证书，能够拒绝固定权重预测和独立非线性标签变换的两种解释。我们评估的五个公共TFM显示，改变一个上下文标签会影响其他标签对预测的影响，这种行为称为联合处理。我们还发现，联合处理在训练过程中出现，且注意力分数承载了大部分测量的交互作用。
🔬 方法详解
问题定义：本文旨在解决预训练表格基础模型在标签处理中的标准化陷阱问题，现有方法无法准确反映模型的真实行为。
核心思路：提出两个基于标准化标签预测的证书，能够有效区分固定权重预测与非线性标签变换，从而更好地理解模型的行为。
技术框架：整体框架包括标签标准化、证书生成和模型行为分析三个主要模块，首先对标签进行标准化处理，然后生成证书，最后分析模型的预测行为。
关键创新：最重要的创新在于提出的证书能够在不依赖于非标准化标签的情况下，准确反映模型的预测行为，突破了传统方法的局限。
关键设计：在参数设置上，证书的设计依赖于标准化标签的预测结果，损失函数则侧重于捕捉标签间的交互影响，网络结构采用了注意力机制以增强模型对标签间关系的理解。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在评估的五个公共TFM中，证书能够有效识别标签间的交互影响，改变一个上下文标签会显著影响其他标签的预测，验证了联合处理的存在。具体性能数据和提升幅度在实验中得到了充分体现。
🎯 应用场景
该研究的潜在应用领域包括金融数据分析、医疗数据处理和其他需要处理表格数据的机器学习任务。通过更好地理解标签间的交互作用，能够提升模型的预测准确性和可解释性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Linear regression and kernel smoothing offer tractable explanations of in-context learning: in both, the features determine the weight assigned to each context label. However, whether this fixed-weight account describes pretrained tabular foundation models (TFMs) remains unclear. Testing this account using derivatives runs into a standardization trap: public TFM packages standardize the labels before the model sees them, yet ordinary derivatives also reflect behavior outside the set of standardized labels, making a model appear nonlinear even when every prediction it makes agrees with a fixed-weight map. We propose two certificates that depend only on predictions at standardized labels and can reject two distinct explanations: fixed-weight prediction and sums of independent nonlinear label transformations. Across the five public TFMs that we evaluate, our certificates show that changing one context label alters how other labels influence the prediction, a behavior we call joint processing. We further find that joint processing emerges with training and that attention scores carry most of the measured interaction. Together, these findings motivate TFM explanations that account for how context labels change the influence of individual examples.