TABQAWORLD: Optimizing Multimodal Reasoning for Multi-Turn Table Question Answering

📄 arXiv: 2604.03393 📥 PDF

作者: Tung Sum Thomas Kwok, Xinyu Wang, Xiaofeng Lin, Peng Lu, Chunhe Wang, Changlun Li, Hanwei Wu, Nan Tang, Elisa Kreiss, Guang Cheng

分类: cs.AI

发布日期: 2026-04-07

💡 一句话要点

TABQAWORLD：优化多模态推理，提升多轮表格问答性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格问答 多模态推理 多轮对话 表格理解 知识图谱

📋 核心要点

  1. 现有方法在多轮表格问答中依赖固定文本序列化，导致表格编码表示误差累积，影响推理精度。
  2. TABQAWORLD 提出动作条件多模态选择策略，动态切换视觉和文本表示，优化表格状态读取的可靠性。
  3. 实验结果表明，TABQAWORLD 在准确率上超越现有方法，并显著降低了推理延迟，提升了效率。

📝 摘要（中文）

多模态推理已成为增强推理模型能力的一种强大框架。虽然多轮表格推理方法通过工具使用和奖励建模提高了推理精度，但它们依赖于固定的文本序列化进行表格状态读取。这在表格编码中引入了表示误差，并在多个轮次中显著累积。表格 grounding 方法可以在一定程度上缓解这种累积，但会增加推理计算和成本，导致实际部署不切实际。为了解决这个问题，我们提出了 TABQAWORLD，一个表格推理框架，它通过表示和估计联合优化表格动作。在表示方面，TABQAWORLD 采用动作条件多模态选择策略，动态地在视觉和文本表示之间切换，以最大化表格状态读取的可靠性。在估计方面，TABQAWORLD 通过表格元数据（包括维度、数据类型和关键值）优化逐步推理轨迹，安全地规划轨迹并压缩低复杂度的动作，以减少对话轮次和延迟。TABQAWORLD 被设计为一个免训练框架，经验评估表明，它实现了最先进的性能，比基线提高了 4.87% 的准确率，比静态设置提高了 5.42% 的准确率，并减少了 33.35% 的推理延迟，为可靠和高效的表格推理建立了新的标准。

🔬 方法详解

问题定义：论文旨在解决多轮表格问答中，由于现有方法采用固定文本序列化表示表格，导致表格编码表示误差在多轮对话中累积，最终影响推理准确率的问题。现有方法要么精度不足，要么计算成本过高，难以实际部署。

核心思路：论文的核心思路是通过联合优化表格动作的表示和估计来解决上述问题。具体来说，通过动作条件的多模态选择策略，动态选择视觉或文本表示，以获得更可靠的表格状态读取。同时，利用表格元数据优化推理轨迹，减少对话轮次和延迟。

技术框架：TABQAWORLD 框架包含两个主要部分：表示优化和估计优化。表示优化部分采用动作条件多模态选择策略，根据当前动作动态选择视觉或文本表示。估计优化部分利用表格元数据（如维度、数据类型和关键值）规划推理轨迹，压缩低复杂度的动作，减少对话轮次。整个框架是训练自由的，无需额外的训练数据。

关键创新：论文的关键创新在于提出了动作条件多模态选择策略，能够动态地在视觉和文本表示之间切换，从而更准确地捕捉表格状态。与现有方法中固定的文本序列化表示相比，这种动态选择策略能够更好地适应不同的表格和问题，减少表示误差。

关键设计：动作条件多模态选择策略的具体实现细节未知，论文中没有详细描述。表格元数据的使用方式，以及如何利用这些元数据规划推理轨迹，压缩低复杂度动作的具体算法也未知。

📊 实验亮点

TABQAWORLD 在多轮表格问答任务上取得了显著的性能提升，相较于现有基线方法，准确率提高了 4.87%。与静态设置相比，准确率提高了 5.42%，同时推理延迟降低了 33.35%。这些结果表明 TABQAWORLD 在提高表格推理的可靠性和效率方面具有显著优势。

🎯 应用场景

该研究成果可应用于智能客服、金融分析、数据报告生成等领域，提升人机交互的效率和准确性。通过更高效地理解和利用表格数据，可以帮助用户快速获取所需信息，辅助决策，并提高工作效率。未来，该技术有望进一步扩展到更复杂的表格推理场景，例如跨表格推理、表格数据挖掘等。

📄 摘要（原文）

Multimodal reasoning has emerged as a powerful framework for enhancing reasoning capabilities of reasoning models. While multi-turn table reasoning methods have improved reasoning accuracy through tool use and reward modeling, they rely on fixed text serialization for table state readouts. This introduces representation errors in table encoding that significantly accumulate over multiple turns. Such accumulation is alleviated by tabular grounding methods in the expense of inference compute and cost, rendering real world deployment impractical. To address this, we introduce TABQAWORLD, a table reasoning framework that jointly optimizes tabular action through representation and estimation. For representation, TABQAWORLD employs an action-conditioned multimodal selection policy, which dynamically switches between visual and textual representations to maximize table state readout reliability. For estimation, TABQAWORLD optimizes stepwise reasoning trajectory through table metadata including dimension, data types and key values, safely planning trajectory and compressing low-complexity actions to reduce conversation turns and latency. Designed as a training-free framework, empirical evaluations show that TABQAWORLD achieves state-of-the-art performance with 4.87% accuracy improvements over baselines, with 5.42% accuracy gain and 33.35% inference latency reduction over static settings, establishing a new standard for reliable and efficient table reasoning.