TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models

📄 arXiv: 2605.06047v1 📥 PDF

作者: Duong Nguyen, Mohammed Jawhar, Nicolas Chesneau

分类: cs.LG, cs.AI

发布日期: 2026-05-07

💡 一句话要点

提出TFM-Retouche，一种轻量级的表格数据输入空间适配器，提升表格基础模型的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 基础模型 领域自适应 残差学习 轻量级调优

📋 核心要点

  1. 现有表格基础模型微调成本高昂，且参数高效微调方法依赖模型架构。
  2. TFM-Retouche通过学习输入空间的残差校正，使输入数据与预训练模型的归纳偏置对齐。
  3. 在TabArena-Lite上，TabICLv2-Retouche在预测质量和效率上均表现出色，Elo提升显著。

📝 摘要（中文）

表格基础模型(TFMs)，如TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX, 和 TabDPT，通过上下文学习实现了强大的零样本性能，但它们的归纳偏置在推理时保持固定。将预训练的TFM适配到特定数据集或任务通常需要完全微调，这在计算上是昂贵的，或者需要参数高效的微调方法(PEFT)，如LoRA，这必须针对每个TFM的内部架构进行定制。此外，关于权重空间微调是否能提高准确性或校准的证据是混合的。我们引入TFM-Retouche，一种轻量级的输入空间残差适配器，在设计上与冻结的TFM骨干网络无关。TFM-Retouche学习输入空间中的一个小的残差校正，以使输入数据与预训练模型的归纳偏置对齐。该适配器通过冻结的TFM进行端到端训练，并具有后训练的身份保护机制，在适配没有帮助的情况下回退到未修改的TFM。在TabArena-Lite上(包含51个数据集，涵盖二元分类、多类分类和回归)，TabICLv2-Retouche——在TabICLv2上实例化的框架——是排行榜上排名第一的方法，具有轻量级的每任务调优和集成，相对于冻结的TabICLv2基础模型，总Elo提升了+56，并且位于预测质量与训练和推理时间的帕累托前沿。

🔬 方法详解

问题定义：表格基础模型虽然具备强大的零样本学习能力，但其固定的归纳偏置限制了其在特定数据集或任务上的性能。完全微调计算成本高，而参数高效微调方法（如LoRA）又依赖于特定模型的内部结构。因此，如何以轻量级且模型无关的方式适配表格基础模型，以提升其在特定任务上的性能，是一个亟待解决的问题。

核心思路：TFM-Retouche的核心思路是在输入空间学习一个残差校正，使得经过校正后的输入数据能够更好地适应预训练表格基础模型的归纳偏置。通过学习输入数据的微小扰动，使得模型能够更好地理解和处理特定任务的数据，从而提升性能。这种方法无需修改或微调预训练模型的参数，因此计算成本较低，且具有模型无关性。

技术框架：TFM-Retouche的整体框架包括一个冻结的预训练表格基础模型和一个可训练的输入空间适配器。适配器接收原始输入数据，并输出一个残差校正。将原始输入数据和残差校正相加，得到校正后的输入数据，然后将其输入到冻结的表格基础模型中进行预测。整个适配器通过端到端的方式进行训练，目标是最小化预测误差。为了防止适配器过度拟合，引入了一个后训练的身份保护机制，当适配器在验证集上表现不佳时，将回退到原始的表格基础模型。

关键创新：TFM-Retouche的关键创新在于其输入空间适配的设计。与传统的权重空间微调方法不同，TFM-Retouche直接在输入空间进行适配，避免了对预训练模型内部结构的修改，从而实现了模型无关性。此外，残差校正的设计使得适配器能够学习到输入数据的微小扰动，从而更好地适应特定任务。

关键设计：适配器通常是一个小型神经网络，例如多层感知机（MLP）。损失函数通常是预测误差，例如均方误差（MSE）或交叉熵损失。身份保护机制通过在验证集上评估适配器的性能，并根据性能决定是否使用适配器。如果适配器在验证集上的性能低于原始模型，则在推理时将禁用适配器，直接使用原始模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在TabArena-Lite数据集上的实验结果表明，TabICLv2-Retouche在轻量级调优和集成的情况下，相对于冻结的TabICLv2基础模型，总Elo提升了+56，并且位于预测质量与训练和推理时间的帕累托前沿。这表明TFM-Retouche能够有效提升表格基础模型的性能，同时保持较低的计算成本。

🎯 应用场景

TFM-Retouche可应用于各种表格数据分析任务，例如金融风险评估、医疗诊断预测、客户行为分析等。其轻量级和模型无关的特性使其易于部署和集成到现有系统中，能够有效提升表格基础模型在特定任务上的性能，具有广泛的应用前景。

📄 摘要（原文）

Tabular foundation models (TFMs), such as TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX, and TabDPT, achieve strong zero-shot performance through in-context learning, but their inductive biases remain fixed at inference time. Adapting a pretrained TFM to a specific dataset or task typically requires either full fine-tuning, which is computationally expensive, or parameter-efficient tuning methods (PEFT) such as LoRA, which must be tailored to the internal architecture of each TFM. Furthermore, the evidence on whether weight-space fine-tuning improves accuracy or calibration is mixed \citep{tanna_exploring_2026,rubachev_finetuning_2025}. We introduce TFM-Retouche, a lightweight input-space residual adapter that is architecture-agnostic by design with respect to the frozen TFM backbone. TFM-Retouche learns a small residual correction in the input space to align the input data with the inductive biases of the pretrained model. The adapter is trained end-to-end through the frozen TFM, with a post-training identity guard that falls back to the unmodified TFM whenever adaptation does not help on held-out validation. On TabArena-Lite (51 datasets spanning binary classification, multiclass classification, and regression), TabICLv2-Retouche -- the framework instantiated on TabICLv2 -- is the top-ranked method on the leaderboard with light per-task tuning and ensembling, lifting aggregate Elo by +56 over the frozen TabICLv2 base and sitting on the Pareto front of predictive quality versus both training and inference time.