Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning

📄 arXiv: 2609.28963v1 📥 PDF

作者: Xincheng Yao, Haobo Fu, Weiming Liu, Chongyang Zhang

分类: cs.AI, stat.ML

发布日期: 2026-09-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出GRAFT框架以解决步级优势估计偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 优势估计 轨迹图 信用分配 多轮交互 智能代理 贝尔曼迭代

📋 核心要点

  1. 现有的群体强化学习方法在步级优势估计上存在系统性偏差，难以准确反映个别步骤的贡献。
  2. 论文提出了一种图形化的忠实步级信用分配框架（GRAFT），通过轨迹图实现更精确的优势估计。
  3. 实验结果显示，GRAFT在多轮自主基准测试中表现优于GRPO，且在多个任务上取得了显著提升。

📝 摘要（中文）

基于群体的强化学习方法（如GRPO及其变体）已成为训练推理和自主大型语言模型的主要范式。尽管其群体归一化优势估计在响应级别上可靠，但在步级别上存在系统性偏差，因为粗粒度的轨迹级优势难以准确反映单个步骤的贡献。本文提出了一种图形化的忠实步级信用分配框架（GRAFT），通过将所有回滚轨迹 graft 到轨迹图中，利用贝尔曼迭代恢复节点状态值，并通过节点值差异为每条边分配信用。实验结果表明，GRAFT在多轮自主基准测试中表现优于GRPO及其他最新的自主强化学习算法。

🔬 方法详解

问题定义：本文旨在解决现有群体强化学习方法在步级优势估计中存在的系统性偏差问题。现有方法难以准确反映个别步骤的贡献，导致估计不可靠。

核心思路：论文提出的GRAFT框架通过将所有回滚轨迹整合为一个轨迹图，利用贝尔曼迭代来恢复节点的状态值，从而实现更精确的步级优势估计。

技术框架：GRAFT的整体架构包括轨迹图的构建、节点状态值的恢复以及基于节点值差异的信用分配。首先，所有轨迹被整合为一个图，然后通过贝尔曼迭代计算每个节点的状态值，最后根据节点值差异为每条边分配信用。

关键创新：GRAFT的主要创新在于将轨迹整合为图形结构，从而实现了对步级优势的忠实估计。这一方法与传统的群体归一化优势估计方法本质上不同，后者在步级别上存在偏差。

关键设计：在设计中，GRAFT使用了贝尔曼迭代来恢复节点状态值，并通过节点值差异来分配信用。此外，论文还提出了Graph GAE方法，以减少状态值估计偏差对步级优势估计的影响。具体的参数设置和损失函数设计将在代码中详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GRAFT在多个多轮自主基准测试中均优于GRPO，且在与最新的自主强化学习算法的比较中，表现出显著的性能提升，具体提升幅度达到XX%。这些结果验证了GRAFT在步级优势估计中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、自动化决策支持以及其他需要推理能力的自主系统。通过提高步级优势估计的准确性，GRAFT框架能够提升多轮交互中的决策质量，进而推动智能代理在复杂环境中的应用。未来，该方法可能会对强化学习领域的其他任务产生深远影响。

📄 摘要（原文）

Group-based reinforcement learning (RL) methods, such as GRPO and its variants, have become a leading paradigm for training reasoning and agentic large language models (LLMs). While their group-normalized advantage estimation is reliable at the response level, it becomes systematically biased at the step level, since coarse-grained trajectory-level advantages are hard to accurately reflect the contribution of individual steps (i.e, failed trajectories may contain valuable steps). Revisiting the foundational RL definition, we notice that GRPO's success on single-turn tasks stems from its advantage estimation strategy, which adheres to the basic definition: the mean reward of multiple actions sampled from the same state constitutes a credible state-value estimate. Extending the faithful estimation to step-level would in principle demand sampling multiple actions from each intermediate state, which is too costly on a per-state basis. To mitigate this issue, we propose a Graph-based Faithful sTep-level credit-assignment framework (GRAFT) that grafts all rollout trajectories into a trajectory graph, recovering node state-values via Bellman iteration on the graph, and assigning credit to each edge by the node value difference. Theoretically, the estimated step-level advantage faithfully adheres to the basic advantage definition in RL. To further ensure the reliability of step-level advantage estimation, we further propose Graph GAE, which extends GAE to the trajectory graph for reducing the impact of state-value estimation bias. Experiments across a range of multi-turn agentic benchmarks show consistent gains over GRPO and superior performance compared to recent agentic RL algorithms. Code will be available at https://github.com/xcyao00/GRAFT.