Table Understanding and (Multimodal) LLMs: A Cross-Domain Case Study on Scientific vs. Non-Scientific Data

📄 arXiv: 2507.00152v1 📥 PDF

作者: Ekaterina Borisova, Fabio Barth, Nils Feldhus, Raia Abu Ahmad, Malte Ostendorff, Pedro Ortiz Suarez, Georg Rehm, Sebastian Möller

分类: cs.CL

发布日期: 2025-06-30

备注: TRL@ACL 2025, camera-ready version

DOI: 10.18653/v1/2025.trl-1.10

💡 一句话要点

提出跨领域评估方法以提升表格理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格理解 大语言模型 跨领域评估 多模态学习 科学数据处理 可解释性分析 TableEval基准

📋 核心要点

  1. 现有方法在处理表格数据时效率不足，尤其是在科学表格的理解上存在显著挑战。
  2. 论文提出了一种跨领域和跨模态的评估方法，比较文本与多模态LLMs在表格理解任务中的表现。
  3. 实验结果表明，LLMs在不同表格模态上表现出鲁棒性，但在科学表格处理上仍面临困难。

📝 摘要（中文）

表格是研究、商业、医学和教育中广泛使用的结构化数据表示工具。尽管大语言模型（LLMs）在下游任务中表现出色，但其在处理表格数据方面的效率仍未得到充分探索。本文通过跨领域和跨模态评估，研究了文本和多模态LLMs在表格理解任务中的有效性，比较了科学与非科学背景下表格的性能，并分析了图像与文本格式的鲁棒性。此外，本文引入了TableEval基准，包含来自学术出版物、维基百科和财务报告的3017个表格，提供五种不同格式。研究发现，尽管LLMs在表格模态上保持鲁棒性，但在处理科学表格时面临显著挑战。

🔬 方法详解

问题定义：本文旨在解决大语言模型在表格理解任务中的效率不足，尤其是在科学表格处理方面的挑战。现有方法未能充分评估LLMs在不同表格模态下的表现。

核心思路：通过引入跨领域和跨模态的评估框架，比较文本和多模态LLMs在科学与非科学表格上的表现，旨在揭示其鲁棒性和局限性。

技术框架：研究采用了TableEval基准，包含3017个表格，分别以图像、字典、HTML、XML和LaTeX格式提供。评估过程包括性能比较和可解释性分析。

关键创新：引入了TableEval基准，系统性地评估了LLMs在不同表格格式和领域下的表现，填补了现有研究的空白。

关键设计：在实验中，设置了多种表格格式，采用了适应性损失函数和多模态输入，以提高模型在不同表格类型上的理解能力。具体参数设置和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果显示，LLMs在处理非科学表格时表现出色，但在科学表格的理解上存在显著性能下降。具体而言，科学表格的处理准确率较非科学表格低约20%，揭示了模型在特定领域的局限性。

🎯 应用场景

该研究的潜在应用领域包括学术研究、商业分析和医疗数据处理等。通过提升LLMs在表格理解任务中的表现，可以更好地支持数据驱动的决策和信息提取，未来可能推动相关领域的智能化进程。

📄 摘要（原文）

Tables are among the most widely used tools for representing structured data in research, business, medicine, and education. Although LLMs demonstrate strong performance in downstream tasks, their efficiency in processing tabular data remains underexplored. In this paper, we investigate the effectiveness of both text-based and multimodal LLMs on table understanding tasks through a cross-domain and cross-modality evaluation. Specifically, we compare their performance on tables from scientific vs. non-scientific contexts and examine their robustness on tables represented as images vs. text. Additionally, we conduct an interpretability analysis to measure context usage and input relevance. We also introduce the TableEval benchmark, comprising 3017 tables from scholarly publications, Wikipedia, and financial reports, where each table is provided in five different formats: Image, Dictionary, HTML, XML, and LaTeX. Our findings indicate that while LLMs maintain robustness across table modalities, they face significant challenges when processing scientific tables.