TabMF: Learning Dataset Representations with Tabular Foundation Models

📄 arXiv: 2610.13818v1 📥 PDF

作者: Rafiq Kamel, Nicolas Atienza, Aziz Fouché, Nicola Cancedda, Josif Grabocka

分类: cs.LG

发布日期: 2026-10-09

💡 一句话要点

提出TabMF框架以提升数据集表示学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据集表示 表格基础模型 对比学习 机器学习 数据集检索 分布偏移监测 模型预训练

📋 核心要点

  1. 现有方法通常依赖手工设计的元特征或专门训练的数据集编码器，导致表示学习效果有限。
  2. TabMF框架通过利用预训练的表格基础模型作为数据集编码器，并进行对比后训练，提升了数据集表示的质量。
  3. 实验结果表明，TabMF在数据集检索、紧凑基准构建和分布偏移评估等任务中表现优异，取得了最强的综合性能。

📝 摘要（中文）

数据集的表示学习支持更高层次的机器学习任务，如数据集检索和分布偏移监测。然而，现有方法通常依赖手工设计的元特征或专门训练的数据集编码器。本文提出了TabMF框架，利用预训练的表格基础模型（TFM）作为监督数据集的编码器。TabMF通过对合成监督数据集的随机视图进行对比后训练，端到端地适应预测TFM，并配备架构感知的数据集级读出。我们在TabICLv2和TabPFN-2.5上实例化TabMF，并在未见的真实数据集上评估其表示效果。简单的冻结TFM读出已显示出竞争力的表示，表明预测预训练已经引入了显著的数据集级结构。

🔬 方法详解

问题定义：本文旨在解决现有数据集表示学习方法依赖手工特征或专门训练编码器的问题，这限制了其在实际应用中的有效性和灵活性。

核心思路：TabMF框架的核心思想是利用预训练的表格基础模型（TFM）作为数据集的编码器，通过对比后训练来增强模型对数据集级别结构的理解。这样的设计使得模型能够在不需要大量手工特征的情况下，自动学习数据集的表示。

技术框架：TabMF的整体架构包括预训练的TFM、架构感知的数据集级读出模块，以及对比后训练的过程。首先，TFM对输入数据集进行编码，然后通过特定的读出模块提取数据集级别的特征，最后通过对比学习进行后续的模型适应。

关键创新：TabMF的主要创新在于将预训练的TFM重新用于数据集表示学习，并通过对比后训练的方式进行端到端的适应。这一方法与传统的手工特征提取或专门训练的编码器有本质区别，能够更好地捕捉数据集的内在结构。

关键设计：在设计中，TabMF使用了冻结的TFM读出，结合对比损失函数来优化模型。此外，模型架构的选择和数据集的随机视图生成也是关键设计要素，确保了模型在多样性和泛化能力上的表现。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，TabMF的两个编码器在评估的学习和经典数据集表示中表现出最强的综合性能，特别是在数据集检索、紧凑基准构建和分布偏移评估任务中，取得了显著的性能提升，表明其有效性和实用性。

🎯 应用场景

TabMF框架具有广泛的潜在应用场景，特别是在需要高效数据集管理和分析的领域，如机器学习模型的训练、数据集检索和监控分布偏移等。其实际价值在于能够自动化地生成高质量的数据集表示，提升数据科学家的工作效率，并为未来的研究提供新的思路和工具。

📄 摘要（原文）

Representations of supervised datasets support higher-level machine-learning tasks such as dataset retrieval and distribution-shift monitoring. However, existing approaches typically rely either on hand-crafted meta-features or on dataset encoders trained specifically for representation learning. We introduce TabMF, a framework that repurposes pretrained tabular foundation models (TFMs) as encoders of supervised datasets. TabMF equips a predictive TFM with an architecture-aware dataset-level readout and adapts the model end-to-end using contrastive post-training on stochastic views of synthetic supervised datasets. We instantiate TabMF on TabICLv2 and TabPFN-2.5 and evaluate the resulting representations across six tasks on unseen real datasets. Simple frozen TFM readouts yield competitive representations, indicating that predictive pretraining already induces substantial dataset-level structure. The two TabMF encoders obtain the strongest aggregate performance among the evaluated learned and classical dataset representations, with particularly strong results in dataset retrieval, compact benchmark construction, and distribution-shift severity assessment.