A Closer Look into LLMs for Table Understanding

📄 arXiv: 2603.15402v1 📥 PDF

作者: Jia Wang, Chuanyu Qin, Mingyu Zheng, Qingyi Si, Peize Li, Zheng Lin

分类: cs.CL, cs.AI

发布日期: 2026-03-16

💡 一句话要点

深入研究LLM在表格理解中的应用，揭示其内部机制与性能影响因素

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格理解 大型语言模型 注意力机制 混合专家模型 可解释性

📋 核心要点

  1. 现有表格理解方法缺乏对LLM内部机制的深入理解，阻碍了性能优化和可解释性。
  2. 该研究通过分析LLM的注意力、层深度、专家激活等，揭示其处理表格数据的内在逻辑。
  3. 实验表明，LLM在不同层级展现出不同的注意力模式，且表格任务需要更深的网络层。

📝 摘要（中文）

尽管大型语言模型（LLMs）在表格理解方面取得了成功，但其内部机制仍不清楚。本文对16个LLM进行了实证研究，涵盖通用LLM、专业表格LLM和混合专家（MoE）模型，以探索LLM如何理解表格数据并执行下游任务。我们的分析侧重于四个维度，包括注意力动态、有效层深度、专家激活和输入设计的影响。主要发现包括：（1）LLM遵循三阶段注意力模式——早期层广泛扫描表格，中间层定位相关单元格，后期层放大它们的贡献；（2）相比于数学推理，表格任务需要更深的层才能达到稳定的预测；（3）MoE模型在中间层激活表格特定的专家，而早期和后期层共享通用专家；（4）思维链提示增加了表格注意力，并通过表格调优进一步增强。我们希望这些发现和见解能够促进表格相关任务的可解释性和未来研究。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在表格理解任务中表现出色，但其内部工作机制仍然是一个黑盒。研究旨在揭示LLMs如何处理和理解表格数据，以及哪些因素影响其性能。现有的研究缺乏对LLM内部机制的深入分析，难以解释其行为并进行针对性的优化。

核心思路：该研究的核心思路是通过对LLM的内部状态进行细致的分析，例如注意力机制、层激活情况等，来理解其处理表格数据的过程。通过观察不同类型的LLM在不同任务上的表现，揭示其内在的工作原理。

技术框架：研究采用实证分析的方法，选取了16个具有代表性的LLM，包括通用LLM、专业表格LLM和混合专家（MoE）模型。针对这些模型，研究从四个维度进行了深入分析：注意力动态、有效层深度、专家激活和输入设计的影响。通过分析这些维度，研究试图揭示LLM在处理表格数据时的内部机制。

关键创新：该研究的关键创新在于其对LLM在表格理解任务中的内部机制进行了系统性的分析。通过观察注意力动态，研究揭示了LLM遵循三阶段注意力模式。此外，研究还发现表格任务需要更深的网络层才能达到稳定的预测，并且MoE模型在中间层激活表格特定的专家。

关键设计：研究中，注意力动态的分析通过可视化注意力权重来实现，有效层深度的分析通过观察不同层输出的预测结果的稳定性来实现，专家激活的分析通过统计不同专家被激活的频率来实现，输入设计的影响通过比较不同提示策略下的性能来实现。这些分析方法都旨在深入理解LLM的内部工作机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在处理表格数据时遵循三阶段注意力模式：早期层广泛扫描表格，中间层定位相关单元格，后期层放大它们的贡献。此外，表格任务需要比数学推理更深的网络层才能达到稳定的预测。MoE模型在中间层激活表格特定的专家，而早期和后期层共享通用专家。思维链提示增加了表格注意力，并通过表格调优进一步增强。

🎯 应用场景

该研究的成果可应用于提升表格数据处理的效率和准确性，例如在金融分析、数据挖掘、知识图谱构建等领域。通过理解LLM的内部机制，可以设计更有效的表格理解模型，并提高其在实际应用中的可靠性和可解释性。未来的研究可以基于这些发现，进一步优化LLM在表格理解任务中的性能。

📄 摘要（原文）

Despite the success of Large Language Models (LLMs) in table understanding, their internal mechanisms remain unclear. In this paper, we conduct an empirical study on 16 LLMs, covering general LLMs, specialist tabular LLMs, and Mixture-of-Experts (MoE) models, to explore how LLMs understand tabular data and perform downstream tasks. Our analysis focus on 4 dimensions including the attention dynamics, the effective layer depth, the expert activation, and the impacts of input designs. Key findings include: (1) LLMs follow a three-phase attention pattern -- early layers scan the table broadly, middle layers localize relevant cells, and late layers amplify their contributions; (2) tabular tasks require deeper layers than math reasoning to reach stable predictions; (3) MoE models activate table-specific experts in middle layers, with early and late layers sharing general-purpose experts; (4) Chain-of-Thought prompting increases table attention, further enhanced by table-tuning. We hope these findings and insights can facilitate interpretability and future research on table-related tasks.