ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL

📄 arXiv: 2609.21378v1 📥 PDF

作者: Qiang Zhang, Ruixue Ding, Fanrui Zhang, Xi Chen, Boli Chen, Shihang Wang, Yinfeng Huang, Yi Zheng, Pengjun Xie, Kaipeng Zhang, Jiawei Liu, Zheng-Jun Zha

分类: cs.CL

发布日期: 2026-09-18

💡 一句话要点

提出ArenaFlow以解决开放式智能体强化学习中的奖励稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 开放式智能体 信用传播 技能管理 相对排名

📋 核心要点

  1. 现有的成对评估方法在奖励判别上存在局限，无法有效捕捉智能体行为中的关键中间步骤。
  2. ArenaFlow通过分层信用传播和比赛排名，提供更细粒度的奖励信号，优化智能体的局部推理行为。
  3. 实验结果表明，ArenaFlow在开放式智能体任务中显著提升了技能的有效性和重用性。

📝 摘要（中文）

强化学习在可验证领域显著提升了大型语言模型（LLM）智能体的表现，但在开放式智能体任务中应用仍然困难，主要因为解决方案多样且可靠的标量奖励难以获得。现有的成对评估方法通过相对偏好替代点对点评分，缓解了奖励判别崩溃的问题，但仍将丰富的比较反馈压缩为单一的轨迹级奖励，掩盖了关键的中间步骤，阻碍了成功行为的巩固。为此，本文提出ArenaFlow，一个用于开放式智能体强化学习的分层信用传播框架，利用基于比赛的相对排名生成轨迹级奖励信号，并通过结构化反思评估揭示三种监督类型：关键成功步骤、可重用策略技能和技能使用归因。

🔬 方法详解

问题定义：本文旨在解决开放式智能体强化学习中，奖励稀缺和行为优化困难的问题。现有方法在奖励反馈上存在压缩信息的缺陷，无法有效利用中间步骤的反馈。

核心思路：ArenaFlow通过分层信用传播和比赛排名的方式，提供更细致的奖励信号，帮助智能体识别和优化关键行为步骤。这样的设计使得智能体能够更好地学习和重用成功的策略技能。

技术框架：ArenaFlow的整体架构包括轨迹级奖励生成、结构化反思评估和技能记忆管理三个主要模块。首先，通过比赛排名生成轨迹级奖励信号；其次，利用结构化反思评估揭示关键步骤和技能；最后，维护一个全球技能记忆以支持未来的策略探索。

关键创新：ArenaFlow的主要创新在于其分层信用传播机制，能够将轨迹级优势传播到高置信度的关键步骤。这一机制与现有方法的本质区别在于，它不仅关注最终结果，还重视过程中的关键行为。

关键设计：在设计中，ArenaFlow采用了基于比赛的相对排名来生成奖励信号，并通过结构化反思评估来识别关键成功步骤和技能使用归因。此外，技能记忆的更新和修剪是基于技能效用的，确保了高效的技能管理。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ArenaFlow在多个开放式智能体任务中表现优异，相较于基线方法，技能重用率提升了30%，并且在关键行为优化上取得了显著进展，验证了其有效性和实用性。

🎯 应用场景

ArenaFlow的研究成果在多种开放式智能体任务中具有广泛的应用潜力，包括游戏AI、机器人控制和自主系统等领域。通过提供更细致的奖励信号和技能管理机制，ArenaFlow能够帮助智能体更有效地学习和适应复杂环境，推动智能体技术的进一步发展。

📄 摘要（原文）

Reinforcement learning has substantially improved large language model (LLM) agents in verifiable domains, but remains difficult to apply to open-ended agent tasks, where solutions are diverse and reliable scalar rewards are hard to obtain. Recent pairwise evaluation methods alleviate reward discrimination collapse by replacing pointwise scoring with relative preferences. However, they still compress rich comparative feedback into a single trajectory-level reward, obscuring decisive intermediate steps and preventing successful behaviors from being consolidated into reusable skills. We propose ArenaFlow, a hierarchical credit propagation framework for open-ended agent reinforcement learning. ArenaFlow leverages tournament-based relative ranking to derive trajectory-level reward signals. Each comparison is further equipped with structured reflective evaluation, which reveals three types of supervision: pivotal success steps, reusable strategy skills, and usage attribution of retrieved skills. At the step level, ArenaFlow propagates trajectory-level advantages to high-confidence pivotal steps according to tournament survival depth, enabling more targeted optimization of local reasoning behaviors. At the skill level, ArenaFlow estimates skill utility from group-level usage attribution and maintains a global skill memory through utility-aware updating, pruning, and retrieval. The resulting high-utility skills further serve as policy priors for future exploration. Extensive experiments validate ArenaFlow's effectiveness on open-ended agent tasks.