RoT: Enhancing Table Reasoning with Iterative Row-Wise Traversals

📄 arXiv: 2505.15110v1 📥 PDF

作者: Xuanliang Zhang, Dingzirui Wang, Keyan Xu, Qingfu Zhu, Wanxiang Che

分类: cs.CL

发布日期: 2025-05-21

💡 一句话要点

提出RoT：通过迭代行遍历增强表格推理能力，无需训练。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格推理 长链思维 大型语言模型 行遍历 反思学习

📋 核心要点

  1. 现有Long CoT方法在表格推理中面临训练成本高和易产生幻觉的问题，限制了其应用。
  2. RoT通过迭代行遍历表格，并在每次遍历后进行反思，从而扩展推理链并减少幻觉。
  3. 实验结果表明，RoT在无需训练的情况下，超越了现有RLLM方法，并在多个数据集上取得了SOTA性能。

📝 摘要（中文）

表格推理任务对于高效数据获取至关重要，其目标是根据给定的表格回答问题。最近，具有长链思维（Long CoT）的推理大型语言模型（RLLM）显著增强了推理能力，并在表格推理方面取得了出色的性能。然而，Long CoT存在训练成本高昂以及由于表格内容幻觉而导致的可靠性低的问题。因此，我们提出了行思维（RoT），它执行迭代的行式表格遍历，从而允许在每次遍历时进行推理扩展和基于反思的细化。通过行式遍历扩展推理长度，并利用LLM的反思能力，RoT无需训练。顺序遍历鼓励更多地关注表格，从而减少幻觉。实验表明，使用非推理模型的RoT优于RLLM，平均提升4.3%，并在WikiTableQuestions和TableBench上使用可比模型实现了最先进的结果，证明了其有效性。此外，RoT以更少的推理token优于Long CoT，表明其效率更高。

🔬 方法详解

问题定义：论文旨在解决表格推理任务中，现有基于长链思维（Long CoT）的推理大型语言模型（RLLM）训练成本高昂以及容易产生表格内容幻觉的问题。这些问题降低了RLLM在实际应用中的可靠性和效率。

核心思路：论文的核心思路是提出一种名为Row-of-Thought (RoT) 的方法，该方法通过迭代地按行遍历表格，并在每次遍历后进行反思，来逐步扩展推理链。这种行式遍历方式能够让模型更专注于表格内容，从而减少幻觉的产生。同时，利用大型语言模型的反思能力，对每次遍历的结果进行提炼，提高推理的准确性。

技术框架：RoT 的整体框架包括以下几个主要步骤：1) 初始化：接收表格和问题作为输入。2) 迭代行遍历：按顺序逐行遍历表格，每次遍历将当前行信息与问题和之前的推理结果结合，输入到大型语言模型中进行推理。3) 反思与提炼：在每次行遍历后，利用大型语言模型的反思能力，对当前的推理结果进行评估和改进。4) 最终答案生成：在完成所有行的遍历后，综合所有反思后的推理结果，生成最终答案。

关键创新：RoT 的关键创新在于其迭代行遍历和反思机制。与传统的 Long CoT 方法相比，RoT 不需要大量的训练数据，并且能够更有效地利用表格信息，减少幻觉的产生。此外，RoT 的行遍历方式使得推理过程更加模块化和可解释。

关键设计：RoT 的关键设计包括：1) 行遍历顺序：论文采用简单的顺序遍历方式，但也可以考虑其他遍历策略，例如根据行的重要性进行排序。2) 反思机制：论文利用大型语言模型的固有能力进行反思，但也可以引入更复杂的反思模型，例如使用强化学习来优化反思策略。3) Prompt设计：精心设计的Prompt对于引导LLM进行有效的行遍历推理和反思至关重要，需要根据具体的LLM和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoT 在 WikiTableQuestions 和 TableBench 数据集上取得了最先进的结果，平均比 RLLM 提高了 4.3%。更重要的是，RoT 在使用非推理模型的情况下，仍然能够超越 RLLM，并且使用更少的推理 token，表明其具有更高的效率和泛化能力。这些实验结果充分证明了 RoT 方法的有效性。

🎯 应用场景

RoT 方法可应用于各种需要表格推理的场景，例如金融分析、知识图谱问答、数据挖掘等。该方法能够提高数据分析的效率和准确性，并降低对大量训练数据的依赖。未来，RoT 可以与其他技术相结合，例如知识图谱嵌入和多模态学习，以进一步提升表格推理的性能。

📄 摘要（原文）

The table reasoning task, crucial for efficient data acquisition, aims to answer questions based on the given table. Recently, reasoning large language models (RLLMs) with Long Chain-of-Thought (Long CoT) significantly enhance reasoning capabilities, leading to brilliant performance on table reasoning. However, Long CoT suffers from high cost for training and exhibits low reliability due to table content hallucinations. Therefore, we propose Row-of-Thought (RoT), which performs iteratively row-wise table traversal, allowing for reasoning extension and reflection-based refinement at each traversal. Scaling reasoning length by row-wise traversal and leveraging reflection capabilities of LLMs, RoT is training-free. The sequential traversal encourages greater attention to the table, thus reducing hallucinations. Experiments show that RoT, using non-reasoning models, outperforms RLLMs by an average of 4.3%, and achieves state-of-the-art results on WikiTableQuestions and TableBench with comparable models, proving its effectiveness. Also, RoT outperforms Long CoT with fewer reasoning tokens, indicating higher efficiency.