Thinking with Tables: Enhancing Multi-Modal Tabular Understanding via Neuro-Symbolic Reasoning

📄 arXiv: 2603.24004v1 📥 PDF

作者: Kun-Yang Yu, Zhi Zhou, Shi-Yu Tian, Xiao-Wen Yang, Zi-Yi Jia, Ming Yang, Zi-Jian Cheng, Lan-Zhe Guo, Yu-Feng Li

分类: cs.CL

发布日期: 2026-03-25

备注: 20 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出TWT，通过神经符号推理增强表格-视觉多模态理解能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格理解 多模态学习 神经符号推理 程序辅助 表格-视觉多模态理解

📋 核心要点

  1. 现有方法难以处理表格数据结构多变、数据缺失以及特征依赖复杂等问题，限制了表格-视觉多模态理解能力。
  2. TWT利用神经符号推理，通过程序辅助的代码交互，实现信息提取和元素建模，从而增强表格理解能力。
  3. 实验结果表明，TWT在多个数据集上显著优于现有基线，平均准确率提升10%，性能媲美甚至超越商业SOTA LLM。

📝 摘要（中文）

多模态大型语言模型(MLLM)在图像和文本等多模态领域展现了卓越的推理能力。然而，表格数据作为一种关键的现实世界模态，在多模态学习中仍相对未被充分探索。本文关注表格-视觉多模态理解(TVMU)任务，并识别出三个核心挑战：(1)表格中高度的结构可变性和数据不完整性，(2)隐式和复杂的特征依赖关系，以及(3)下游任务中问题解决流程的显著异质性。为了解决这些问题，我们提出了Thinking with Tables (TWT)。TWT采用程序辅助的、基于代码的神经符号推理机制，通过与外部环境交互来促进关键操作，例如信息提取和元素建模。我们在八个代表性数据集上评估了TWT。实验结果表明，TWT在准确率方面始终优于现有基线，平均提升10%，在TVMU任务上达到了与甚至超过专有商业SOTA LLM的性能。

🔬 方法详解

问题定义：论文旨在解决表格-视觉多模态理解(TVMU)任务中，由于表格结构复杂、数据不完整、特征依赖隐式以及任务流程异构性带来的挑战。现有方法难以有效处理这些问题，导致TVMU性能受限。

核心思路：论文的核心思路是引入神经符号推理机制，通过程序辅助的代码交互，将复杂的表格理解任务分解为一系列可执行的步骤。这种方法能够更好地处理表格的结构化信息，并利用外部环境进行信息补充和推理。

技术框架：TWT的技术框架主要包含以下几个模块：(1)多模态输入编码器，用于提取表格和视觉信息的特征表示；(2)程序生成器，根据任务需求生成相应的程序代码；(3)执行环境，用于执行生成的程序代码，并与外部环境进行交互；(4)结果解码器，将执行结果解码为最终的答案。整个流程通过神经符号推理机制进行协调，实现表格信息的有效利用和推理。

关键创新：TWT的关键创新在于其程序辅助的神经符号推理机制。与传统的端到端模型相比，TWT能够更好地利用表格的结构化信息，并通过程序代码实现更灵活和可解释的推理过程。此外，TWT还能够与外部环境进行交互，从而获取更多的信息，提高推理的准确性。

关键设计：TWT的具体技术细节包括：(1)使用预训练的语言模型作为多模态输入编码器，以获取更好的特征表示；(2)设计了一种基于模板的程序生成器，以确保生成的程序代码的正确性和可执行性；(3)使用强化学习方法训练程序生成器，以优化程序的生成策略；(4)设计了一种基于注意力机制的结果解码器，以将执行结果解码为最终的答案。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TWT在八个代表性数据集上进行了评估，实验结果表明，TWT在准确率方面始终优于现有基线，平均提升10%。在TVMU任务上，TWT的性能达到了与甚至超过专有商业SOTA LLM的水平，证明了其有效性和优越性。

🎯 应用场景

该研究成果可应用于金融报表分析、医学影像报告解读、电商商品信息理解等领域。通过提升表格数据的理解能力，可以帮助人们更高效地从复杂数据中提取关键信息，辅助决策，并有望推动智能数据分析和自动化报告生成等技术的发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have demonstrated remarkable reasoning capabilities across modalities such as images and text. However, tabular data, despite being a critical real-world modality, remains relatively underexplored in multimodal learning. In this paper, we focus on the task of Tabular-Vision Multi-Modal Understanding (TVMU) and identify three core challenges: (1) high structural variability and data incompleteness in tables, (2) implicit and complex feature dependencies, and (3) significant heterogeneity in problem-solving pipelines across downstream tasks. To address these issues, we propose Thinking with Tables (TWT). TWT employs a program-aided code-based neuro-symbolic reasoning mechanism that facilitates key operations, such as information extraction and element modeling, by interacting with external environments. We evaluate TWT on eight representative datasets. Experimental results demonstrate that TWT consistently outperforms existing baselines by an average of 10\% in accuracy, achieving performance comparable to, or even surpassing, proprietary commercial SOTA LLMs on TVMU tasks. Models and codes are available at https://github.com/kunyang-YU/Thinking-with-Tables