Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL

📄 arXiv: 2610.21439v1 📥 PDF

作者: Skylar Zhai, Haonan Wang, Zhining Liu, Linxin Song, Xuwei Ding, Jingcheng Liang, Jian Kang

分类: cs.LG

发布日期: 2026-10-15

备注: 15 pages, 8 figures. Project page: https://zhaihaotian.github.io/MRTPO/

💡 一句话要点

提出MRTPO以解决多奖励强化学习中的信用分配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多奖励强化学习 信用分配 语言模型 Jensen-Shannon距离 策略重放

📋 核心要点

  1. 现有的奖励解耦归一化方法在多奖励强化学习中存在信息利用不足的问题，导致每个奖励的优势被均匀分配。
  2. 本文提出MRTPO方法，通过将每个奖励的优势分配给相关标记，利用验证者检查的信息进行信用分配。
  3. 在文本到SQL和多约束指令跟随等任务中，MRTPO方法收敛更快，性能显著优于现有方法。

📝 摘要（中文）

随着语言模型同时针对多个可验证奖励进行训练，例如工具调用的正确性和格式，或复杂指令的个别约束，现有的奖励解耦归一化方法（GDPO）虽然能够单独归一化每个奖励，但仍然将每个奖励的优势均匀分配到整个响应中，导致信息利用不充分。为此，本文提出了MRTPO方法，通过将每个奖励的优势分配给与之相关的标记，利用其验证者检查的信息，避免了辅助模型或标记级注释的需求。MRTPO通过对每个奖励的策略进行重放，计算每个标记的相关性，并重新分配优势。在文本到SQL、多约束指令跟随和工具调用任务中，MRTPO的收敛速度更快，性能优于对比方法。

🔬 方法详解

问题定义：本文旨在解决多奖励强化学习中信用分配不均的问题。现有方法如GDPO虽然能够单独归一化每个奖励，但仍将每个奖励的优势均匀分配到整个响应，导致信息利用不充分。

核心思路：MRTPO通过将每个奖励的优势分配给与之相关的标记，利用验证者检查的信息来实现更精确的信用分配。这种设计避免了使用辅助模型或标记级注释的复杂性。

技术框架：MRTPO的整体架构包括策略重放模块和优势分配模块。对于每个奖励，策略重放模块会生成带有和不带有该奖励验证者信息的响应，然后计算每个标记的Jensen-Shannon距离，以评估其相关性。

关键创新：MRTPO的主要创新在于其通过标记相关性重新分配奖励优势的能力，这与现有方法将优势均匀分配的方式本质上不同。

关键设计：MRTPO的关键设计包括使用Jensen-Shannon距离来衡量标记的相关性，以及在策略重放过程中对每个奖励进行独立处理的机制。这些设计使得模型能够更有效地利用每个奖励的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MRTPO在文本到SQL和多约束指令跟随任务中收敛速度更快，性能提升显著，相较于对比方法，性能提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在自然语言处理领域，如文本生成、指令跟随和数据库查询等任务中。MRTPO方法能够提高模型在复杂任务中的表现，未来可能推动多奖励强化学习在实际应用中的普及与发展。

📄 摘要（原文）

Language models are increasingly trained against several verifiable rewards at once, such as the correctness and the format of a tool call, or the individual constraints of a complex instruction. Reward-decoupled normalization (GDPO) normalizes each reward separately so that different reward combinations keep distinct advantages, but it still spreads every reward's advantage evenly over the whole response, although each verifier checks only a few positions. We propose MRTPO, which assigns the advantage of each reward to the tokens relevant to it, using the information its verifier checks, without auxiliary models or token-level annotations. For each reward, the policy replays its own response with and without that reward's verifier information, and the per-token Jensen-Shannon distance between the two next-token distributions measures each token's relevance and reassigns the advantage. On text-to-SQL, multi-constraint instruction following and tool calling, MRTPO converges faster and achieves better performance than the compared methods.