How well do LLMs reason over tabular data, really?

📄 arXiv: 2505.07453v3 📥 PDF

作者: Cornelius Wolff, Madelon Hulsebos

分类: cs.AI

发布日期: 2025-05-12 (更新: 2025-11-04)

备注: 10 pages, 4 figures

期刊: The 4th Table Representation Learning Workshop at ACL 2025

💡 一句话要点

评估LLM在表格数据推理能力，揭示其对现实世界表格数据变化的脆弱性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格推理 大型语言模型 鲁棒性评估 LLM评判 数据质量 缺失值处理 重复实体 结构化数据

📋 核心要点

  1. 现有表格推理评估方法未能准确反映LLM的真实性能，且缺乏对LLM在真实表格数据变化下的鲁棒性分析。
  2. 提出使用LLM作为评判者的新评估方法，更可靠地评估LLM在表格推理任务中的性能。
  3. 通过引入缺失值、重复实体和结构变化等现实因素，评估LLM在更真实场景下的表格推理能力，发现其性能显著下降。

📝 摘要（中文）

大型语言模型（LLM）在自然语言任务中表现出色，但它们在表格数据上的推理能力却鲜为人知。先前的分析设计的评估策略未能准确反映LLM在表格查询上的实际性能。此外，我们对LLM在表格输入中对现实变化的鲁棒性理解有限。因此，本文探讨了通用LLM是否真的能对表格数据进行推理，并侧重于两个问题：1）通用LLM的表格推理能力对表格输入的真实世界特征是否具有鲁棒性？2）如何才能真实地评估LLM在分析性表格查询上的性能？基于最近的表格推理基准，我们首先揭示了其多项选择提示评估策略以及常用的自由文本指标（如SacreBleu和BERT-score）的缺点。我们表明，LLM作为评判者的程序可以产生更可靠的性能洞察，并揭示了LLM在表格推理性能方面的显著不足。然后，我们扩展了表格输入，以反映实践中的三个常见特征：1）缺失值，2）重复实体，3）结构变化。实验表明，通用LLM的表格推理能力受到这些变化的影响，强调了提高其对真实表格输入鲁棒性的重要性。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在表格数据上的推理能力，并分析其对现实世界表格数据变化的鲁棒性。现有方法，如多项选择题和自由文本生成，无法准确反映LLM在实际应用中的性能，且缺乏对表格数据中常见问题的考虑，例如缺失值、重复实体和结构变化。

核心思路：论文的核心思路是采用更贴近实际应用的评估方法，即使用LLM作为评判者来评估LLM的推理结果，并引入现实世界表格数据的常见问题，以更全面地评估LLM的表格推理能力。通过这种方式，可以更准确地了解LLM在实际应用中的表现，并发现其在处理复杂表格数据时的不足。

技术框架：论文的技术框架主要包括以下几个部分：1）使用现有的表格推理基准数据集；2）设计基于LLM的评判流程，用于评估LLM生成的推理结果；3）扩展表格数据集，引入缺失值、重复实体和结构变化等现实因素；4）使用不同的LLM进行实验，并分析其在不同情况下的性能表现。

关键创新：论文的关键创新在于：1）提出了一种基于LLM的评判方法，该方法比传统的多项选择题和自由文本生成方法更可靠；2）通过引入现实世界表格数据的常见问题，更全面地评估了LLM的表格推理能力；3）揭示了LLM在处理复杂表格数据时存在的不足，为未来的研究方向提供了指导。

关键设计：论文的关键设计包括：1）LLM评判流程的设计，需要仔细考虑prompt的设计，以确保LLM能够公正地评估推理结果；2）表格数据扩展的设计，需要选择具有代表性的现实世界表格数据，并引入合理的缺失值、重复实体和结构变化；3）实验设置的设计，需要选择合适的LLM和评估指标，以确保实验结果的可靠性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用LLM作为评判者可以更准确地评估LLM的表格推理能力，并揭示了现有LLM在处理缺失值、重复实体和结构变化等现实世界表格数据时性能显著下降。例如，在引入缺失值后，LLM的推理准确率平均下降了10%-20%。这表明，提高LLM对现实世界表格数据的鲁棒性是未来研究的重要方向。

🎯 应用场景

该研究成果可应用于各种需要表格数据分析的领域，如金融分析、市场调研、医疗诊断等。通过提高LLM在表格数据推理方面的能力，可以帮助人们更有效地从表格数据中提取信息，做出更明智的决策。未来的研究可以进一步探索如何提高LLM对复杂表格数据的鲁棒性，并开发更智能的表格数据分析工具。

📄 摘要（原文）

Large Language Models (LLMs) excel in natural language tasks, but less is known about their reasoning capabilities over tabular data. Prior analyses devise evaluation strategies that poorly reflect an LLM's realistic performance on tabular queries. Moreover, we have a limited understanding of the robustness of LLMs towards realistic variations in tabular inputs. Therefore, we ask: Can general-purpose LLMs reason over tabular data, really?, and focus on two questions 1) are tabular reasoning capabilities of general-purpose LLMs robust to real-world characteristics of tabular inputs, and 2) how can we realistically evaluate an LLM's performance on analytical tabular queries? Building on a recent tabular reasoning benchmark, we first surface shortcomings of its multiple-choice prompt evaluation strategy, as well as commonly used free-form text metrics such as SacreBleu and BERT-score. We show that an LLM-as-a-judge procedure yields more reliable performance insights and unveil a significant deficit in tabular reasoning performance of LLMs. We then extend the tabular inputs reflecting three common characteristics in practice: 1) missing values, 2) duplicate entities, and 3) structural variations. Experiments show that the tabular reasoning capabilities of general-purpose LLMs suffer from these variations, stressing the importance of improving their robustness for realistic tabular inputs.