Parameter-Efficient Distributionally Robust Adaptation of Tabular Foundation Models under Subpopulation Shift

📄 arXiv: 2610.01143v1 📥 PDF

作者: Seonghwi Kim, Sung Ho Jo, Minwoo Chae

分类: cs.LG, cs.AI

发布日期: 2026-10-01

备注: 45 pages, 7 figures, including appendices

💡 一句话要点

提出DR-TFM框架以应对子群体转变下的模型适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 子群体转变 分布鲁棒适应 模型微调 群体偏见 鲁棒目标 参数高效性

📋 核心要点

  1. 现有的表格基础模型在子群体转变中对表现不足的群体的适应性差，导致准确性下降。
  2. DR-TFM框架通过微调查询缩放网络，调整对标记上下文的关注，且无需真实群体标注。
  3. 在五个表格基准测试中，DR-TFM显著提高了最差群体的平均准确性，且仅更新了0.016%的参数。

📝 摘要（中文）

尽管表格基础模型（TFMs）在整体准确性上表现良好，但在子群体转变中，尤其是当群体比例在训练和部署之间发生变化时，它们在表现不足的群体上可能表现不佳。为此，本文提出了DR-TFM，一个参数高效的分布鲁棒适应框架，该框架无需真实的群体标注。DR-TFM通过微调现有的查询缩放网络或添加并训练一个新网络，调整对标记上下文示例的关注，同时保持其他参数不变。我们使用从训练数据中推导的估计群体或源条件分布实例化该框架，结果显示DR-TFM在五个表格基准测试中显著提高了最差群体的平均准确性，同时保持了竞争力的平均群体准确性。

🔬 方法详解

问题定义：本文旨在解决表格基础模型在子群体转变中对表现不足群体的适应性差的问题。现有方法在群体比例变化时，无法有效调整模型性能，导致准确性下降。

核心思路：DR-TFM框架的核心思路是通过微调查询缩放网络，调整模型对标记上下文示例的关注，而不需要真实的群体标注。这种设计使得模型能够在不改变大部分参数的情况下，适应新的群体分布。

技术框架：DR-TFM的整体架构包括两个主要模块：一是现有查询缩放网络的微调，二是基于估计群体或源条件分布的鲁棒目标的实例化。该框架通过这两个模块实现了对模型的有效适应。

关键创新：DR-TFM的主要创新在于其参数高效性和无需真实群体标注的特性。与现有方法相比，该框架能够在保持大部分参数不变的情况下，显著提高最差群体的准确性。

关键设计：在设计上，DR-TFM仅更新了0.016%的预训练模型参数，采用了两种鲁棒目标，并利用从训练数据中推导的估计群体或源条件分布进行适应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个表格基准测试中，DR-TFM显著提高了最差群体的平均准确性，相较于预训练的TFMs和其他鲁棒基线，表现出更优的性能。同时，该方法仅更新了0.016%的模型参数，显示出其参数高效性。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和社会科学等领域，尤其是在处理不平衡数据和群体偏见时。DR-TFM能够帮助模型在面对不同群体时保持高效的适应性，从而提高决策的公平性和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite strong mean accuracy, tabular foundation models (TFMs) can perform poorly on underrepresented groups under subpopulation shift, where group proportions change between training and deployment. We propose DR-TFM, a parameter-efficient distributionally robust adaptation framework that requires no true group annotations. DR-TFM adjusts attention to labeled context examples by fine-tuning an existing query scaling network or adding and training one, while keeping all other parameters fixed. We instantiate the framework with two robust objectives using estimated groups or source conditional distributions derived from training data. For TabPFN-3, adaptation updates only 0.016% of the pretrained model's parameters. Across five tabular benchmarks, DR-TFM achieves substantially higher average worst-group accuracy than pretrained TFMs and the compared robust baselines without true group annotations, while maintaining competitive mean group accuracy. DR-TFM also improves average worst-group accuracy on ACS Income and across four additional TFMs.