TabFM-Auto: Self-Evolving Pipelines for Tabular Foundation Models
作者: Deqing Fu, Huangyuan Su, Rajat Sen, Taman Narayan, Sujay Sanghavi, Abhimanyu Das, Weihao Kong
分类: cs.LG
发布日期: 2026-09-29
💡 一句话要点
提出TabFM-Auto以优化表格基础模型的数据处理流程
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格基础模型 自我进化 数据处理 特征工程 机器学习
📋 核心要点
- 现有的表格基础模型忽视了数据集的语义信息，导致模型性能未能充分发挥。
- TabFM-Auto通过结合表格基础模型与语言模型代理，动态优化数据处理流程，提升模型性能。
- 在多个基准测试中，TabFM-Auto显著提高了模型的Elo评分，并在竞赛中表现优异。
📝 摘要（中文）
表格基础模型在结构化数据上通过合成表格预训练实现了强大的零-shot 精度，但忽略了承载数据集语义的列名、任务描述和辅助文件。同时，自我进化的机器学习工程代理在每个数据集上从头训练模型，但在特征、架构和超参数的联合搜索中容易产生噪声并导致过拟合。本文提出TabFM-Auto，将表格基础模型TabFM与语言模型代理相结合，围绕数据管道进行自我进化。通过数据集元数据和验证反馈，TabFM-Auto迭代优化数据清洗、特征工程、上下文选择和后处理，以降低TabFM的错误率。在TabArena基准的51个数据集中，五种不同代理和语言模型的TabFM-Auto配置均排名前五，最佳配置将TabFM的Elo从1785提升至2013。此外，发现的管道在其他冻结的表格基础模型上也能转移，Elo提升69至143。在MLE-Bench的8个表格竞赛中，TabFM-Auto在所有MLE代理中排名第一。
🔬 方法详解
问题定义：本文旨在解决表格基础模型在处理结构化数据时忽视数据集语义信息的问题。现有方法在特征、架构和超参数的联合搜索中容易产生噪声，并导致过拟合，影响模型的泛化能力。
核心思路：TabFM-Auto通过将表格基础模型TabFM与语言模型代理相结合，利用数据集的元数据和验证反馈，迭代优化数据清洗、特征工程等流程，从而提升模型的准确性和鲁棒性。
技术框架：整体架构包括数据清洗、特征工程、上下文选择和后处理四个主要模块。每个模块在迭代过程中根据反馈进行调整，以实现最佳的数据处理效果。
关键创新：最重要的创新在于将语言模型代理与表格基础模型结合，形成自我进化的数据处理管道。这一设计使得模型能够在不同数据集上动态适应，显著提升了性能。
关键设计：在参数设置上，TabFM-Auto采用了多种语言模型作为代理，并通过验证反馈不断调整超参数和特征选择策略，以实现最佳的模型性能。
🖼️ 关键图片
📊 实验亮点
在TabArena基准测试中，TabFM-Auto的五种配置均进入前五名，最佳配置将TabFM的Elo从1785提升至2013。此外，该方法在其他冻结的表格基础模型上也实现了Elo的显著提升，范围为69至143。在MLE-Bench的8个表格竞赛中，TabFM-Auto表现优异，排名第一。
🎯 应用场景
TabFM-Auto的研究成果在多个领域具有广泛的应用潜力，尤其是在需要处理大量结构化数据的场景，如金融分析、医疗数据处理和市场研究等。通过优化数据处理流程，该方法能够提高模型的准确性和效率，进而推动相关领域的智能化发展。
📄 摘要（原文）
Tabular foundation models achieve strong zero-shot accuracy on structured data by pretraining on synthetic tables, but they ignore the column names, task descriptions, and auxiliary files that carry dataset semantics. Meanwhile, self-evolving machine learning engineering (MLE) agents train models from scratch on each dataset, yet jointly searching over features, architectures, and hyperparameters is noisy and prone to overfitting. We introduce TabFM-Auto, which pairs a tabular foundation model, TabFM, with a language model agent that evolves the data pipeline around it. Guided by dataset metadata and validation feedback, TabFM-Auto iteratively refines data cleaning, feature engineering, context selection, and post-processing to reduce TabFM's error. Across all 51 datasets of the TabArena benchmark, five TabFM-Auto configurations with different agents and language models take the top five overall positions, and the best raises TabFM from 1785 to 2013 Elo. The discovered pipelines also transfer to other frozen tabular foundation models (+69 to +143 Elo) with no further search. On the 8 tabular competitions of MLE-Bench, TabFM-Auto ranks first overall among MLE agents.