GIST: Generator-state-Informed Supervision for Tabular Foundation Models

📄 arXiv: 2610.12904v1 📥 PDF

作者: Zhangyang Peng, Jingze Shi, Tongyi Zhang, Yuyu Luo

分类: cs.LG

发布日期: 2026-10-09

💡 一句话要点

提出GIST以解决表格基础模型的标签不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 标签不确定性 生成器状态 监督学习 熵校准编码

📋 核心要点

  1. 现有的表格基础模型在预训练阶段使用硬查询标签，导致标签的不确定性未能得到充分利用。
  2. GIST通过利用生成器的中间状态，设计了一种新的监督机制，以平均化查询损失，从而更好地处理标签不确定性。
  3. 实验结果显示，GIST在多个基准测试中显著提升了模型性能，尤其是在与硬标签控制的比较中表现优异。

📝 摘要（中文）

表格基础模型（TFMs）通常依赖于先前数据拟合的网络，并使用采样的硬查询标签，这导致预训练中存在可避免的采样变异性。本文提出了生成器状态知情监督（GIST），利用中间生成器状态来揭示超出采样结果的标签不确定性。GIST通过对条件标签分布的查询损失进行平均，设计任务生成与查询监督的联合机制，使用熵校准编码以获得可处理且输入一致的目标。实验结果表明，GIST在不改变架构或推理的情况下，在TabArena和TALENT上提升了三种架构的平均排名，并在62.1%的配对数据集比较中胜过对应的硬标签控制。

🔬 方法详解

问题定义：本文旨在解决表格基础模型在预训练阶段因使用硬查询标签而导致的标签不确定性问题。现有方法未能充分利用生成器的中间状态，从而影响模型的性能。

核心思路：GIST的核心思想是利用生成器的中间状态来揭示标签的不确定性，通过对条件标签分布的查询损失进行平均化，设计任务生成与查询监督的联合机制，以提高模型的鲁棒性和准确性。

技术框架：GIST的整体架构包括生成器状态的提取、查询损失的计算和熵校准编码的应用。首先，从生成器中提取中间状态，然后计算不同条件标签下的查询损失，最后通过熵校准编码来获得一致的目标。

关键创新：GIST的主要创新在于将生成器的中间状态与标签不确定性结合，提出了一种新的监督机制，显著提升了模型的学习效果。这一方法与传统的硬标签监督方法在本质上有所区别，后者未能考虑标签的潜在不确定性。

关键设计：在GIST中，采用了熵校准的编码方式，以确保生成的目标在输入上保持一致性。此外，损失函数的设计也考虑了标签分布的特性，以实现更有效的学习。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，GIST在TabArena和TALENT基准测试中表现出色，提升了三种不同架构的平均排名，并在62.1%的配对数据集比较中超越了对应的硬标签控制，显示出显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括金融数据分析、医疗记录处理和市场研究等需要处理表格数据的场景。通过提高模型对标签不确定性的处理能力，GIST能够在实际应用中提升决策的准确性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Tabular foundation models (TFMs) based on prior-data fitted networks typically use sampled hard query labels, leaving avoidable sampling variability in pretraining. A key observation is that intermediate generator states can reveal label uncertainty beyond a sampled outcome. We propose Generator-state-Informed Supervision for TFMs (GIST), which uses these states to average query losses over conditional label distributions. GIST jointly designs task generation and query supervision, using entropy-calibrated encodings to obtain tractable, input-consistent targets on supported label-dependent branches. We show that this averaging preserves the population objective and yields no larger gradient covariance at fixed parameters within each generating distribution. Under matched pretraining schedules, GIST improves mean rank across three architectures on both TabArena and TALENT without changing architecture or inference. Across these benchmarks and architectures, GIST wins 62.1% of paired dataset-level comparisons against the corresponding hard-label controls.