Every Step Counts: Step-Level Credit Assignment for Tool-Integrated Text-to-SQL

📄 arXiv: 2605.04719v1 📥 PDF

作者: Yaxun Dai, Baolin Sun, Junying Wang, Pengfei Wang, Yingqi Gao, Xuemei Dong, Mengdie Chu, Xiang Qi, Pingfu Chao

分类: cs.CL

发布日期: 2026-05-06

💡 一句话要点

提出FineStep框架，解决工具集成Text-to-SQL中步骤级信用分配问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Text-to-SQL 工具集成 信用分配 强化学习 步骤级奖励

📋 核心要点

  1. 现有工具集成Text-to-SQL方法依赖粗粒度结果监督，面临信用分配难题，导致模型学习次优推理路径。
  2. FineStep框架通过独立过程奖励、步骤级信用分配和基于步骤级优势的策略优化，解决信用分配问题。
  3. 实验表明，FineStep在BIRD基准上达到SOTA，减少冗余工具交互，并在4B规模上EX指标提升3.25%。

📝 摘要（中文）

工具集成的Text-to-SQL解析已成为一种有前景的范例，它将SQL生成构建为与工具执行交错的顺序决策过程。然而，现有的强化学习方法主要依赖于粗粒度的结果监督，导致一个根本性的信用分配问题：模型对于任何产生正确答案的轨迹都获得相同的奖励，即使中间步骤是冗余的、低效的或错误的。因此，模型被鼓励探索次优的推理空间，限制了效率和泛化能力。为了解决这个问题，我们提出了FineStep，一个用于工具增强Text-to-SQL中步骤级信用分配的新框架。首先，我们引入了一种具有独立过程奖励的奖励设计，以缓解结果监督的信号稀疏性。接下来，我们提出了一种步骤级信用分配机制，以精确量化每个推理步骤的价值。最后，我们开发了一种基于步骤级优势的策略优化方法，以实现高效的更新。在BIRD基准上的大量实验表明，FineStep实现了最先进的性能，并减少了冗余的工具交互，在4B规模上比GRPO平均EX增益为3.25%。

🔬 方法详解

问题定义：现有的工具集成Text-to-SQL方法，在训练过程中主要依赖于最终结果的正确性来给予奖励。这种粗粒度的奖励机制无法区分中间步骤的优劣，导致模型难以学习到高效、正确的推理路径。即使模型通过冗余或错误的步骤最终得到了正确答案，也会获得相同的奖励，从而鼓励了次优推理空间的探索。

核心思路：FineStep的核心思路是将信用分配从结果层面细化到步骤层面。通过更精细的奖励机制，模型能够更准确地评估每个步骤的价值，从而学习到更优的策略。具体来说，FineStep引入了独立的过程奖励，并设计了一种步骤级的信用分配机制，以量化每个推理步骤的贡献。

技术框架：FineStep框架主要包含三个核心模块：1) 奖励设计模块，引入独立的过程奖励，缓解信号稀疏性；2) 步骤级信用分配模块，精确量化每个推理步骤的价值；3) 策略优化模块，基于步骤级优势进行高效更新。整体流程是，模型在每个步骤执行动作后，根据奖励设计模块获得即时奖励，然后通过步骤级信用分配模块计算每个步骤的价值，最后利用策略优化模块更新模型参数。

关键创新：FineStep最重要的创新在于其步骤级的信用分配机制。与传统的只关注最终结果的奖励方式不同，FineStep能够评估每个中间步骤对最终结果的贡献，从而更准确地指导模型的学习。这种细粒度的信用分配机制使得模型能够更快地收敛到最优策略，并减少冗余的工具交互。

关键设计：FineStep的关键设计包括：1) 独立的过程奖励，例如对执行有效工具操作的步骤给予奖励；2) 步骤级优势函数，用于评估每个步骤的价值，并指导策略更新；3) 基于优势函数的策略梯度算法，用于优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FineStep在BIRD基准测试中取得了显著的性能提升，相较于GRPO模型，在4B参数规模下，EX指标平均提升了3.25%。此外，FineStep还能够有效减少冗余的工具交互，提高了SQL生成的效率。这些实验结果表明，FineStep能够有效地解决工具集成Text-to-SQL中的信用分配问题，并提升模型的性能。

🎯 应用场景

FineStep框架可应用于各种需要工具集成的Text-to-SQL场景，例如智能客服、数据库查询助手等。通过提升SQL生成的准确性和效率，可以显著改善用户体验，并降低人工干预的需求。未来，该方法还可以扩展到其他需要复杂推理和工具使用的任务中，例如代码生成、机器人控制等。

📄 摘要（原文）

Tool-integrated Text-to-SQL parsing has emerged as a promising paradigm, framing SQL generation as a sequential decision-making process interleaved with tool execution. However, existing reinforcement learning approaches mainly rely on coarse-grained outcome supervision, resulting in a fundamental credit assignment problem: models receive the same reward for any trajectory that yields the correct answer, even when intermediate steps are redundant, inefficient, or erroneous. Consequently, models are encouraged to explore suboptimal reasoning spaces, limiting both efficiency and generalization. To address this problem, we propose FineStep, a novel framework for step-level credit assignment in tool-augmented Text-to-SQL. First, we introduce a reward design with independent process rewards to alleviate the signal sparsity of outcome supervision. Next, we present a step-level credit assignment mechanism to precisely quantify the value of each reasoning step. Finally, we develop a policy optimization method based on step-level advantages for efficient updates. Extensive experiments on BIRD benchmarks show that FineStep achieves state-of-the-art performance and reduces redundant tool interactions, with a 3.25% average EX gain over GRPO at the 4B scale.