Grounded Credit Assignment in Reinforcement Learning for Multi-Turn Search Agents

📄 arXiv: 2610.23148v1 📥 PDF

作者: Qirui Liu, Hao Chen, Yi Wen, Weijie Shi, Yao Zhao, Xianhe Chen, Hao Zhao, Xing Tang, Weihong Luo, Yuyu Luo

分类: cs.LG

发布日期: 2026-10-16

备注: 27 pages

💡 一句话要点

提出基于证据的信用分配方法以解决多轮搜索代理的奖励问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 信用分配 多轮问答 证据检索 模型优化

📋 核心要点

  1. 现有的GRPO方法在信用分配上存在不足，未能有效区分搜索和答案的贡献，导致准确性下降。
  2. 论文提出的GCA方法通过引入证据检索和答案正确性两个可验证的子结果，分别调整搜索和答案的信用分配。
  3. 实验结果显示，GCA方法在多个问答基准上显著提升了准确性，尤其在证据支持的正确答案比例上从76.9%提升至93.4%。

📝 摘要（中文）

现有的结果奖励强化学习方法如GRPO对搜索代理的每个回合都给予相同的优势，未能有效区分其在证据查找和利用方面的能力。我们提出了基于证据的信用分配（GCA）方法，通过可验证的子结果（证据检索和答案正确性）分别纠正搜索和答案的信用。实验结果表明，GCA在不增加额外模型或训练阶段的情况下，显著提高了多个问答基准的准确性，尤其在Qwen2.5-3B和Qwen3-30B-A3B模型上，平均EM分别提升了5.7和6.3个百分点。

🔬 方法详解

问题定义：论文旨在解决现有GRPO方法在信用分配上的不足，导致搜索代理在多轮问答中未能有效利用证据，影响整体准确性。

核心思路：GCA方法通过引入可验证的子结果，分别对证据检索和答案的正确性进行信用分配，从而更准确地反映各自的贡献。

技术框架：GCA的整体架构包括两个主要模块：证据检索模块和答案评估模块。前者负责查找相关证据，后者则评估答案的正确性，并根据这两个模块的输出进行信用调整。

关键创新：GCA的核心创新在于其能够独立评估证据检索和答案正确性，避免了传统方法中对错误答案的过度惩罚，同时确保对有效证据检索的信用不被削弱。

关键设计：GCA方法的设计包括对每个token的优势进行限制，确保其信用调整不超过10%，并且不影响最终的结果信号。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，GCA方法在多个问答基准上显著提升了准确性，Qwen2.5-3B模型的平均EM提升了5.7个百分点，Qwen3-30B-A3B模型提升了6.3个百分点。同时，证据支持的正确答案比例从76.9%提升至93.4%。

🎯 应用场景

该研究的潜在应用场景包括智能问答系统、搜索引擎优化和对话系统等领域。通过更精确的信用分配，能够提升系统在复杂查询中的表现，增强用户体验，未来可能推动更智能的搜索代理和问答模型的发展。

📄 摘要（原文）

Outcome-reward reinforcement learning such as GRPO gives every token of a search-agent rollout the same advantage, although the rollout exercises two capabilities: finding evidence and using it. We show that accuracy improves without grounding: Search-R1 raises accuracy on all seven QA benchmarks, yet on Bamboogle the evidence-supported share of correct answers falls from 84.0% to 42.9%. We attribute this to GRPO's credit assignment: rollouts that retrieve answer-bearing evidence are favoured in aggregate only in proportion to their accuracy gain over the rest, a grounding gap that answering from memory or misusing evidence shrinks or reverses. To address this, we propose Grounded Credit Assignment (GCA), which uses verifiable sub-outcomes (evidence retrieval and answer correctness) to correct search and answer credit separately: a wrong answer is blamed more than the search that found the evidence, and a correct answer that bypasses retrievable evidence is credited less. Never negative on evidence-finding search, the correction does not shrink with the grounding gap; capped at 10% of each token's advantage, it never overrides the outcome signal. Without extra models, rollouts, or training stages, GCA improves average EM over Search-R1 by 5.7 (Qwen2.5-3B) and 6.3 points (Qwen3-30B-A3B) and raises this share from 76.9% to 93.4%.