Towards Benchmarking Foundation Models for Tabular Data With Text
作者: Martin Mráz, Breenda Das, Anshul Gupta, Lennart Purucker, Frank Hutter
分类: cs.LG
发布日期: 2025-07-10
备注: Accepted at Foundation Models for Structured Data workshop at ICML 2025
💡 一句话要点
提出文本表格数据基准测试方法，评估现有表格数据预训练模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格数据 预训练模型 文本特征 基准测试 消融实验
📋 核心要点
- 现有表格数据基准测试缺乏对文本特征的有效支持，限制了对表格数据预训练模型处理文本能力的评估。
- 论文提出消融式策略，将文本特征融入表格数据处理流程，并构建包含文本特征的真实表格数据集。
- 通过实验评估现有表格数据预训练模型在处理文本表格数据上的性能，为改进基准测试提供依据。
📝 摘要（中文）
表格数据预训练模型发展迅速，越来越多的研究致力于扩展它们以支持自由文本特征等额外模态。然而，现有的表格数据基准测试很少包含文本列，并且识别具有语义丰富文本特征的真实表格数据集并非易事。本文提出了一系列简单而有效的消融式策略，用于将文本纳入传统的表格数据处理流程中。此外，我们通过手动整理一系列具有有意义文本特征的真实表格数据集，来评估最先进的表格数据预训练模型如何处理文本数据。我们的研究是改进具有文本的表格数据预训练模型基准测试的重要一步。
🔬 方法详解
问题定义：现有表格数据预训练模型在处理包含文本特征的表格数据时，缺乏有效的基准测试方法。现有的基准测试数据集通常不包含或很少包含文本列，难以评估模型对文本信息的利用能力。因此，如何构建合适的基准测试，并评估模型在文本表格数据上的性能，是一个亟待解决的问题。
核心思路：论文的核心思路是构建包含语义丰富文本特征的真实表格数据集，并设计消融式策略将文本融入表格数据处理流程。通过这种方式，可以更全面地评估表格数据预训练模型在处理文本信息方面的能力，并为未来的模型改进提供指导。
技术框架：论文的技术框架主要包含两个部分：一是数据集构建，即手动整理包含有意义文本特征的真实表格数据集；二是评估策略设计，即提出一系列消融式策略，用于将文本特征融入到传统的表格数据处理流程中。具体流程包括：数据预处理、特征工程（包括文本特征提取）、模型训练与评估。
关键创新：论文的关键创新在于：1) 提出了针对文本表格数据的基准测试方法，填补了现有基准测试的空白；2) 构建了包含语义丰富文本特征的真实表格数据集，为模型评估提供了数据基础；3) 设计了消融式策略，可以灵活地将文本特征融入到不同的表格数据处理流程中。
关键设计：论文的关键设计包括：1) 数据集选择标准，确保数据集包含有意义的文本特征，并且具有一定的代表性；2) 消融式策略的具体实现，例如，如何将文本特征转换为数值特征，如何将文本特征与表格特征进行融合；3) 评估指标的选择，例如，准确率、F1值等，用于衡量模型在文本表格数据上的性能。
🖼️ 关键图片
📊 实验亮点
论文通过实验评估了现有表格数据预训练模型在处理文本表格数据上的性能。实验结果表明，现有模型在处理文本特征时仍存在一定的局限性，例如，对文本信息的利用效率不高，对文本特征的鲁棒性较差。这些发现为未来的模型改进提供了重要的参考依据，并指明了未来的研究方向。
🎯 应用场景
该研究成果可应用于金融风控、医疗诊断、电商推荐等领域，这些领域的数据通常包含表格数据和文本描述。通过利用该研究提出的基准测试方法和数据集，可以更好地评估和优化表格数据预训练模型在这些领域的应用效果，从而提升业务效率和决策质量。未来，该研究可以促进表格数据预训练模型在更广泛领域的应用。
📄 摘要（原文）
Foundation models for tabular data are rapidly evolving, with increasing interest in extending them to support additional modalities such as free-text features. However, existing benchmarks for tabular data rarely include textual columns, and identifying real-world tabular datasets with semantically rich text features is non-trivial. We propose a series of simple yet effective ablation-style strategies for incorporating text into conventional tabular pipelines. Moreover, we benchmark how state-of-the-art tabular foundation models can handle textual data by manually curating a collection of real-world tabular datasets with meaningful textual features. Our study is an important step towards improving benchmarking of foundation models for tabular data with text.