Table-R1: Inference-Time Scaling for Table Reasoning

📄 arXiv: 2505.23621v2 📥 PDF

作者: Zheyuan Yang, Lyuhao Chen, Arman Cohan, Yilun Zhao

分类: cs.CL

发布日期: 2025-05-29 (更新: 2025-09-26)

备注: EMNLP 2025

💡 一句话要点

提出Table-R1以实现表格推理任务的推理时间扩展

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 表格推理 推理时间扩展 蒸馏训练 强化学习 可验证奖励 模型微调 跨任务泛化

📋 核心要点

  1. 现有的表格推理方法在推理时间和性能上存在瓶颈，难以满足复杂任务的需求。
  2. 论文提出了通过蒸馏和强化学习相结合的方式，优化表格推理模型的推理效率和准确性。
  3. 实验结果表明，Table-R1-Zero模型在多种任务上超越了现有的先进模型，展现了优越的泛化能力。

📝 摘要（中文）

本研究首次探讨了表格推理任务中的推理时间扩展。我们开发并评估了两种后训练策略以实现推理时间扩展：从前沿模型推理轨迹进行蒸馏和使用可验证奖励的强化学习（RLVR）。在蒸馏过程中，我们引入了由DeepSeek-R1生成的大规模推理轨迹数据集，用于微调大型语言模型（LLMs）为Table-R1-SFT模型。对于RLVR，我们提出了特定任务的可验证奖励函数，并应用GRPO算法获得Table-R1-Zero模型。我们在多种表格推理任务上评估了Table-R1系列模型，Table-R1-Zero模型的性能与GPT-4.1和DeepSeek-R1相当或更优，同时仅使用7B参数的LLM，并在域外数据集上表现出强大的泛化能力。大量消融和定性分析揭示了指令调优、模型架构选择和跨任务泛化的优势，以及在RL训练过程中表格推理技能的出现。

🔬 方法详解

问题定义：本论文旨在解决表格推理任务中的推理时间扩展问题。现有方法在处理复杂推理时，往往面临性能不足和推理时间过长的挑战。

核心思路：论文提出了两种后训练策略：通过蒸馏从前沿模型的推理轨迹中提取知识，以及使用可验证奖励的强化学习来优化模型。这种设计旨在提高推理效率和准确性。

技术框架：整体架构包括两个主要模块：1）蒸馏模块，通过DeepSeek-R1生成的推理轨迹微调LLMs；2）强化学习模块，使用特定任务的可验证奖励函数进行训练，最终形成Table-R1-Zero模型。

关键创新：最重要的技术创新在于结合了蒸馏和强化学习的策略，尤其是引入了可验证奖励函数，使得模型在推理时能够更好地适应不同任务的需求。与现有方法相比，这种方法在推理效率和准确性上有显著提升。

关键设计：在模型设计上，Table-R1-SFT和Table-R1-Zero模型的参数设置经过精心调整，损失函数设计考虑了推理轨迹的有效性，网络结构则优化了推理过程中的信息流动。

📊 实验亮点

实验结果显示，Table-R1-Zero模型在多个表格推理任务上与GPT-4.1和DeepSeek-R1的性能相当或更优，且仅使用7B参数的LLM。该模型在域外数据集上也展现出强大的泛化能力，证明了其有效性。

🎯 应用场景

该研究的潜在应用场景包括智能问答系统、数据验证和信息检索等领域。通过提高表格推理的效率和准确性，Table-R1模型能够为企业和研究机构提供更快速、可靠的数据分析工具，推动相关领域的发展。

📄 摘要（原文）

In this work, we present the first study to explore inference-time scaling on table reasoning tasks. We develop and evaluate two post-training strategies to enable inference-time scaling: distillation from frontier model reasoning traces and reinforcement learning with verifiable rewards (RLVR). For distillation, we introduce a large-scale dataset of reasoning traces generated by DeepSeek-R1, which we use to fine-tune LLMs into the Table-R1-SFT model. For RLVR, we propose task-specific verifiable reward functions and apply the GRPO algorithm to obtain the Table-R1-Zero model. We evaluate our Table-R1-series models across diverse table reasoning tasks, including short-form QA, fact verification, and free-form QA. Notably, the Table-R1-Zero model matches or exceeds the performance of GPT-4.1 and DeepSeek-R1, while using only a 7B-parameter LLM. It also demonstrates strong generalization to out-of-domain datasets. Extensive ablation and qualitative analyses reveal the benefits of instruction tuning, model architecture choices, and cross-task generalization, as well as emergence of essential table reasoning skills during RL training.