Dependency-Aware Reward Shaping for Agentic Reinforcement Learning

📄 arXiv: 2610.01207v1 📥 PDF

作者: Ziyi Chen, Yan Zhang, Jianhui Wei, Daoan Zhang, Zuozhu Liu

分类: cs.AI

发布日期: 2026-10-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出依赖感知奖励塑形方法以优化强化学习中的步骤信用分配

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 依赖感知 奖励塑形 强化学习 步骤信用 任务进展 大型语言模型 推理训练 模型优化

📋 核心要点

  1. 现有的强化学习方法在步骤信用分配上存在不足，未能有效处理基于错误的工作和独立工作的区别。
  2. 论文提出依赖感知奖励塑形（DARS），通过依赖图为每个步骤分配信用，考虑步骤间的先决关系。
  3. 在多个任务上，DARS相比于GiGPO提升了成功率，且在WebShop任务和Search-R1 QA准确性上表现优异。

📝 摘要（中文）

在使用强化学习训练大型语言模型时，终端奖励对步骤的重要性指导有限。现有的步骤信用分配方法忽略了基于未纠正错误的工作是浪费的，而独立工作仍然有效。我们提出了依赖感知奖励塑形（DARS），通过先决关系将任务进展表示为谓词，并在依赖图上分配步骤级信用。标注者标记每个步骤验证、无效或修复的谓词。经过实验，DARS在多个任务中显著提升了成功率，并与多种推理和代理训练方法兼容，展示了其有效性和广泛适用性。

🔬 方法详解

问题定义：现有的强化学习方法在训练过程中，终端奖励无法有效指导每一步的贡献，导致在失败的情况下每一步的未来奖励为零，未能反映出进展。

核心思路：DARS通过构建依赖图，将任务进展表示为相互关联的谓词，并根据步骤对这些谓词的验证、无效或修复情况分配信用，从而实现更精细的奖励塑形。

技术框架：DARS的整体架构包括步骤标注、依赖图构建、信用分配和奖励生成四个主要模块。标注者对每一步进行标记，依赖图则用于计算步骤间的关系和影响。

关键创新：DARS的核心创新在于引入了依赖图的概念，使得步骤信用的分配不仅考虑当前步骤的状态，还考虑其与其他步骤的关系，从而更准确地反映任务进展。

关键设计：DARS使用固定潜力将标注转化为每步的有符号奖励，验证的谓词根据与最近破损先决条件的图距离进行折扣，而独立谓词不受影响。修复操作则根据剩余错误更新权重。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在五个任务系列中，DARS相比于GiGPO在相同预算下成功率提升了最多10个百分点，并在WebShop任务和Search-R1 QA准确性上表现出色。此外，DARS在控制工具无关推理比较中超越了OmniOPD，展现了其强大的适应性和有效性。

🎯 应用场景

DARS方法具有广泛的应用潜力，特别是在需要精细化奖励塑形的强化学习任务中，如大型语言模型的训练、复杂决策过程的优化等。其设计理念可为未来的智能体训练提供新的思路，提升模型在多样化任务中的表现。

📄 摘要（原文）

When training large language models with reinforcement learning, terminal rewards provide little guidance about which steps matter. Common methods for assigning step credit overlook that work built on uncorrected mistakes is wasted while independent work remains valid. With only a final success/failure reward, every step in a failed episode has zero total future reward, even when it made progress. We propose Dependency-Aware Reward Shaping (DARS), which represents task progress as predicates linked by prerequisite relations and assigns step-level credit over the dependency graph. An annotator marks which predicates each step verifies, invalidates, or repairs. Verified predicates are discounted according to graph distance from the nearest broken prerequisite, while independent predicates are unaffected. Repairs update these weights based on any errors that remain; invalidated predicates need re-verification to regain credit. A fixed potential converts these annotations into signed per-step rewards. A common reward and annotation interface allows DARS to integrate with a range of reasoning and agentic training methods, such as GiGPO and ARPO/AEPO, without changing their rollout strategies or optimizers. Across five task families and models from 1.5B to 8B, DARS improves success by up to 10 points over GiGPO trained with the same budget and harness (ALFWorld), raises the WebShop task score and Search-R1 QA accuracy, complements AEPO's entropy-based training on AIME24/25 with a Python interpreter, and exceeds OmniOPD in controlled tool-free reasoning comparisons at 1.7B and 4B. Ablations show that step-level credit, dependency attenuation, and graph topology each contribute. On ALFWorld, a distilled 8B annotator matches the API annotator, enabling DARS to run efficiently without a frontier judge. Code is available at https://github.com/JianhuiWei7/DARS.