Cross-Rollout Bellman Closure for Long-Horizon Agentic Reinforcement Learning

📄 arXiv: 2609.35082v1 📥 PDF

作者: Yangyang Ren, Haodong Zhu, Linlin Yang, Sheng Xu, Peichao Lai, Baochang Zhang

分类: cs.LG

发布日期: 2026-09-28

💡 一句话要点

提出交叉回滚贝尔曼闭包以解决长时间跨度强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 贝尔曼闭包 长时间跨度 信用传播 模型优化 多任务学习 智能体训练

📋 核心要点

  1. 现有的强化学习方法在长时间跨度任务中难以有效传播信用，导致学习效率低下。
  2. 本文提出的CRBC通过合并回滚组并评估贝尔曼固定点，利用共享锚点传播证据，优化了信用分配。
  3. 在ALFWorld、WebShop和Sokoban等基准测试中，CRBC在多个模型规模上均显著提升了性能，尤其在ALFWorld上提高了5.59个百分点。

📝 摘要（中文）

基于组的强化学习方法如GRPO通过比较为每个任务采样的回滚来训练大规模语言模型代理，而不依赖学习的评论员。在长时间跨度的设置中，这些回滚会重访共享的锚点状态，为逐步信用提供交叉回滚证据。本文提出的交叉回滚贝尔曼闭包（CRBC）将每个回滚组合并为一个有限的经验过程，评估其行为策略的贝尔曼固定点。该固定点通过共享锚点传播证据并聚合替代延续，最终通过观察到的转移反向传播状态值，计算出行动值。CRBC在多个基准测试中表现出色，显著提高了最终性能和学习效率。

🔬 方法详解

问题定义：本文旨在解决长时间跨度强化学习中信用传播不足的问题。现有方法如访问局部平均无法有效递归传播证据，而最短路径估计则可能导致稀有路径主导锚点价值。

核心思路：CRBC通过将每个回滚组合并为有限的经验过程，利用吸收成功和失败边界来评估行为策略的贝尔曼固定点，从而实现有效的信用传播和聚合替代延续。

技术框架：CRBC的整体架构包括回滚组的合并、贝尔曼固定点的评估、通过共享锚点传播证据、以及通过观察到的转移反向传播状态值，最终计算行动值。

关键创新：CRBC的主要创新在于其通过共享锚点的证据传播和替代延续的聚合，克服了现有方法的局限，提供了一种新的信用分配机制。

关键设计：CRBC的设计包括使用相同的经验行动和转移频率来传播证据，确保了在不同深度下的收敛性，且在零深度时恢复访问局部返回平均。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CRBC在多个基准测试中表现优异，尤其在ALFWorld上，使用Qwen2.5-1.5B-Instruct模型时，性能提升达5.59个百分点，显示出其在强化学习中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏AI和自动化决策系统等。通过优化长时间跨度任务的学习效率，CRBC能够在复杂环境中提升智能体的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Group-based reinforcement learning such as GRPO trains LLM agents by comparing rollouts sampled for each task, without a learned critic. In long-horizon settings, these rollouts revisit shared anchor states, offering cross-rollout evidence for step-level credit. Ideally, step-level credit should incorporate evidence beyond the realized suffixes observed at an anchor while aggregating alternative continuations according to their empirical frequencies. Visit-local averaging pools realized suffix returns at shared anchors and respects observed frequencies, but does not recursively propagate evidence across rollouts, whereas shortest-path estimators have global reach but allow a rarely observed route to dominate an anchor's value. We introduce Cross-Rollout Bellman Closure (CRBC), which merges each rollout group into a finite empirical process with absorbing success and failure boundaries and evaluates its behavior-policy Bellman fixed point with one linear solve. This fixed point uses the same empirical action and transition frequencies to propagate evidence through shared anchors and aggregate alternative continuations. Backing up the resulting state values through observed transitions yields action values, whose gain over the corresponding state value provides step-level credit. A corresponding finite-depth family recovers visit-local return averaging at zero depth and converges to the exact closure as depth increases. The normalized closure credit is combined with the trajectory-level group advantage for policy optimization, without additional environment rollouts. Across ALFWorld, WebShop, and Sokoban benchmarks with multiple model scales, CRBC consistently improves final performance and learning efficiency. For example, CRBC outperforms the strongest evaluated baseline by 5.59 percentage points on ALFWorld with Qwen2.5-1.5B-Instruct.