PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning

📄 arXiv: 2607.21419v1 📥 PDF

作者: Yipeng Shi, Zhipeng Ma, Yue Wang, Qitai Tan, Yang Li, Peng Chen, Zhengzhou Zhu

分类: cs.AI

发布日期: 2026-07-23

💡 一句话要点

提出PATS以解决长时间跨度强化学习中的策略优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 动态训练支架 策略优化 任务特定评估 长时间跨度任务

📋 核心要点

  1. 现有的强化学习方法在长时间跨度任务中，弱策略常常导致重复失败，限制了有效的策略优化。
  2. 本文提出了一种以策略为中心的训练范式PATS，将技能视为动态训练支架，以适应策略的演变。
  3. 在ALFWorld和WebShop的实验中，PATS相较于强基线提升了最多18.6%，并在QA基准上减少了32.1%的提示令牌使用。

📝 摘要（中文）

在长时间跨度的LLM代理强化学习中，弱策略常常重复类似的失败，导致生成的信息量不足的轨迹，从而限制了有效的策略优化。现有的以技能为中心的方法通过优化、过滤或内化可重用技能来改善探索，但仍然集中于技能本身，而未设计为适应性训练支持。为此，本文提出了一种以策略为中心的训练范式，将技能重新定义为动态训练支架。PATS框架将最新策略的回滚组转换为证据卡，并使用任务特定的评估来调整后续回滚中使用的上下文。具体的指导帮助弱策略完成具有挑战性的任务。随着策略的改进，冗余上下文被修订或移除，以减少对显式指导的依赖，同时保留有用的回滚变异。该策略通过环境奖励进行优化，并在部署时丢弃训练支架。在ALFWorld和WebShop上，PATS在强基线之上提高了最多18.6%。在七个增强搜索的QA基准上，使用的提示令牌比基线减少了32.1%，仍保持竞争力。

🔬 方法详解

问题定义：本文旨在解决长时间跨度强化学习中弱策略导致的重复失败问题，现有方法未能有效支持策略的动态演变。

核心思路：PATS框架将技能视为动态训练支架，通过将回滚组转换为证据卡并进行任务特定评估，提供具体指导以帮助弱策略完成任务。

技术框架：PATS的整体架构包括回滚组生成、证据卡构建和上下文调整三个主要模块，形成一个闭环的训练支持系统。

关键创新：PATS的创新在于将技能重新定义为动态支架，而非静态技能，适应策略的演变并提供实时支持。

关键设计：在设计中，使用了任务特定的评估机制来调整上下文，并通过标准的RLVR优化策略，同时在部署时丢弃训练支架。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PATS在ALFWorld和WebShop上相较于强基线提升了最多18.6%，并在七个增强搜索的QA基准上使用了32.1%更少的提示令牌，显示出其在性能和效率上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括复杂任务的自动化代理、智能助手和游戏AI等。通过提供动态的训练支持，PATS能够显著提升代理在长时间跨度任务中的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In long-horizon LLM agent reinforcement learning, weak policies often repeat similar failures, producing uninformative rollout trajectories and limiting effective policy optimization. Existing skill-centric methods improve exploration by optimizing, filtering, or internalizing reusable skills. However, they remain centered on the skills themselves rather than being designed as adaptive training-time support for the evolving policy. To address this, we propose a policy-centric training paradigm that reframes skills as a dynamic training scaffold. Our framework, Pats, converts rollout groups from the latest policy into evidence cards and uses task-specific evaluation to adjust the context used in subsequent rollouts. Concrete guidance helps weak policies to complete challenging tasks. As policy improves, redundant context is revised or removed to reduce reliance on explicit guidance while preserving useful rollout variation. The policy is optimized with environmental rewards using standard RLVR, and the training scaffold is discarded at deployment. On ALFWorld and WebShop, Pats improves over strong baselines by up to 18.6%. Across seven search-augmented QA benchmarks, it remains competitive while using 32.1% fewer prompt tokens than the baseline.