UnifiedPlayers: Enhance Tool-Integrated Reasoning in Agentic Reinforcement Learning
作者: Wenjie Liao, Liangjie Zhao, Zehong Cao
分类: cs.AI
发布日期: 2026-09-17
💡 一句话要点
提出UnifiedPlayers以解决工具集成推理中的协调挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 工具集成 自我进化 动态反馈 协作框架
📋 核心要点
- 现有方法在轨迹生成与评估之间缺乏有效协调，导致无法适应新出现的失败模式。
- UnifiedPlayers通过规划、执行和评估的联合适应，提出了一种新的合作框架以解决这一挑战。
- 在两个模型骨干和十二个推理基准上，UnifiedPlayers在性能上显著优于之前的基线，验证器的对抗检测准确率达到84.2%。
📝 摘要（中文）
自我进化方法通过允许工具使用代理生成自己的训练数据，减少了对人工标注轨迹的需求。然而，现有方法通常将轨迹生成与评估分开，依赖于静态验证器，无法适应新出现的失败模式。本文提出了UnifiedPlayers，一个合作框架，包含任务生成的规划玩家、通过Python工具调用生成多轮轨迹的执行玩家和构建可执行验证器的评估玩家。通过设计角色特定的奖励，协调三者朝着共享学习目标前进。实验结果表明，UnifiedPlayers在数学推理和一般推理任务上分别比最强基线提高了至少3.5%和3.9%。
🔬 方法详解
问题定义：本文旨在解决工具集成推理中轨迹生成与评估的分离问题，现有方法无法适应动态变化的失败模式，导致性能受限。
核心思路：提出UnifiedPlayers框架，通过规划、执行和评估的协作，动态生成和验证训练数据，以实现自我增强的工具集成代理。
技术框架：框架包括三个主要模块：规划玩家负责生成任务，执行玩家通过Python工具调用生成多轮轨迹，评估玩家构建可执行验证器。三者通过角色特定的奖励机制进行协调。
关键创新：UnifiedPlayers的创新在于其协作机制，允许各个玩家在动态反馈中共同学习，克服了静态验证器的局限性。
关键设计：设计了角色特定的奖励函数，采用GRPO（Generalized Reward Policy Optimization）进行优化，确保三者朝着共同目标协同工作。
🖼️ 关键图片
📊 实验亮点
实验结果显示，UnifiedPlayers在数学推理任务上比最强基线提高了至少3.5%，在一般推理任务上提高了3.9%。此外，学习到的验证器在对抗检测中的准确率达到了84.2%，其奖励信号的每题方差比自一致性基线高出2.03倍，提供了更具区分性的验证。
🎯 应用场景
该研究的潜在应用领域包括智能代理、自动化工具使用和复杂任务的自主执行。通过提升工具集成推理的能力，UnifiedPlayers可在机器人、虚拟助手等领域实现更高效的自主学习与决策，推动智能系统的进一步发展。
📄 摘要（原文）
Self-evolving methods reduce the need for human-annotated trajectories by allowing tool-using agents to generate their own training data. Yet existing methods typically separate trajectory generation from evaluation, relying on static verifiers that cannot adapt to emerging failure modes or self-consistency signals that may reinforce errors shared across trajectories. Jointly adapting planning, execution, and evaluation offers a promising alternative, but introduces a fundamental coordination challenge: each component continuously changes the data or feedback used to train the others. We address this challenge with \textbf{UnifiedPlayers}, a cooperative framework comprising a Planning Player that generates tasks, an Execution Player that produces multi-turn trajectories with Python tool calls, and an Evaluation Player that constructs executable verifiers. We design role-specific rewards that coordinate the three players toward a shared learning objective under GRPO. Across two model backbones and twelve reasoning benchmarks, UnifiedPlayers outperforms the strongest prior baseline by at least 3.5\% on mathematical reasoning and 3.9\% on general reasoning tasks. Moreover, the learned verifier achieves 84.2\% adversarial detection accuracy, while its reward signal exhibits 2.03$\times$ higher per-question variance than a self-consistency baseline, providing more discriminative verifications. These results highlight cooperation among specialized players as a promising path toward self-enhanced tool-integrated agents.