ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning

📄 arXiv: 2610.18683v1 📥 PDF

作者: Bowen Ding, Mingda Wan, Yuhan Chen, Jiyao Yuan, Qi Zhu, Futing Wang, Heyuan Deng, Fei Mi, Lifeng Shang, Tao Lin

分类: cs.LG, cs.AI

发布日期: 2026-10-13

备注: 23 pages, 2 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出ProAS框架以解决多回合强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 信用分配 动态代理 无评论算法 多回合学习 智能代理 游戏AI

📋 核心要点

  1. 现有的无评论强化学习算法在信用分配上存在均匀性问题，导致不合理的动作获得过多优势。
  2. 提出的ProAS框架通过动态代理参考图实现细粒度的信用分配，避免了引入评论器的开销。
  3. 实验结果显示，ProAS在多个基准任务上显著提升了成功率，并加快了训练收敛速度。

📝 摘要（中文）

强化学习（RL）已成为优化大型语言模型（LLM）代理的主要范式，但现有的无评论算法（如GRPO）面临着均匀信用分配的根本困境，导致所有动作获得相同的轨迹级优势。我们的分析表明，这种均匀性会在优选轨迹中强化结构上无效的动作，并忽视不优选轨迹中早期关键偏差的下游级联影响。为了解决这一问题而不引入评论开销，我们提出了进度感知优势塑造（ProAS），这是一个即插即用的框架，通过动态演变的代理参考图（ARG）实现细粒度的信用分配，采用了屏蔽不合理激励（MUI）和不对称惩罚再分配（APR）方法。大量实验表明，ProAS在Qwen2.5-1.5B-Instruct和Qwen2.5-7B-Instruct上显著提升了主流基线的性能，ALFWorld的成功率达到91.9%和94.3%，WebShop的成功率达到66.7%和70.8%。此外，ProAS加速训练收敛速度，提升幅度达到2.44倍，同时对不完美或蒸馏的ARG保持强大的鲁棒性。

🔬 方法详解

问题定义：论文旨在解决多回合强化学习中均匀信用分配的问题，现有方法（如GRPO）在轨迹级别上对所有动作给予相同的优势，导致不合理动作的强化。

核心思路：ProAS框架通过引入动态演变的代理参考图（ARG），实现了细粒度的信用分配，采用屏蔽不合理激励（MUI）和不对称惩罚再分配（APR）来优化信用分配过程。

技术框架：ProAS的整体架构包括代理参考图的构建、优势计算模块、以及信用分配的优化策略。通过动态更新ARG，框架能够实时调整对不同动作的信用分配。

关键创新：ProAS的主要创新在于其动态的信用分配机制，能够有效区分合理与不合理的动作，相较于传统方法避免了均匀分配的缺陷。

关键设计：在设计中，MUI和APR的具体实现细节包括对动作优势的动态调整策略，以及在训练过程中如何实时更新ARG，以确保信用分配的准确性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ProAS在ALFWorld和WebShop任务上分别达到了91.9%和94.3%的成功率，较主流基线显著提升。同时，训练收敛速度提高了2.44倍，展现出强大的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能代理、游戏AI、对话系统等，能够显著提升这些系统在复杂环境中的决策能力和学习效率。未来，ProAS框架可能推动更多无评论强化学习算法的发展，提升其在实际应用中的表现。

📄 摘要（原文）

Reinforcement learning (RL) has emerged as the primary paradigm for optimizing Large Language Model (LLM) agents, yet efficient critic-free algorithms (e.g., GRPO) suffer from a fundamental uniform credit assignment dilemma that broadcasts trajectory-level advantages equally to all actions. Our analysis reveals that this uniformity inherently reinforces structurally invalid actions in preferred trajectories and ignores the downstream cascading influence of early pivotal deviations in unpreferred ones. To resolve this without introducing critic overhead, we propose Progress-Aware Advantage Shaping (ProAS), a plug-and-play framework that leverages a dynamically evolving Agentic Reference Graph (ARG) to achieve fine-grained credit assignment via Masking Unreasonable Incentives (MUI) and Asymmetric Penalty Redistribution (APR). Extensive experiments across Qwen2.5-1.5B-Instruct and Qwen2.5-7B-Instruct demonstrate that ProAS universally elevates mainstream group-based baselines to new state-of-the-art performance, achieving peak success rates of 91.9\% and 94.3\% on ALFWorld, alongside 66.7\% and 70.8\% on WebShop, respectively. Furthermore, it accelerates training convergence by up to $2.44\times$ while maintaining strong robustness against imperfect or distilled ARGs. Codes: https://github.com/LINs-lab/ProAS.