RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning

📄 arXiv: 2609.20784v1 📥 PDF

作者: Yan Yu, Zhengxi Lu, Yizhou Liu, Yichen Pan, Aozhe Wang, Qipeng Chen, Hua Yang, Wenqi Zhang, Weiming Lu, Qianglong Chen, Yongliang Shen

分类: cs.CL, cs.AI

发布日期: 2026-09-17

💡 一句话要点

提出RetireOPD以解决多回合强化学习中的教师监督不可靠问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自我蒸馏 多回合学习 智能体训练 自适应机制

📋 核心要点

  1. 现有的多回合强化学习方法在教师监督的可靠性和阶段依赖性方面存在不足，影响了学习效果。
  2. RetireOPD通过优化去耦合的技能条件教师，并采用自适应退休机制，使学生能够自主决定何时放弃教师监督。
  3. 实验结果表明，RetireOPD在多个模型上显著提高了成功率和准确率，超越了传统RL基线和自身教师的表现。

📝 摘要（中文）

多回合强化学习（RL）中的智能体通常仅获得单一标量奖励，这促使了自我在政策蒸馏（OPD）的发展，以便从具备特权任务技能的自我教师中提供密集的标记级监督。然而，研究发现仅凭特权信息并不总能使教师可靠，且教师监督的效益依赖于任务阶段。因此，本文提出了RetireOPD（自我退休的在政策蒸馏），该方法首先优化一个去耦合的、技能条件的教师，并利用环境奖励进行训练，然后与RL和OPD共同训练一个无技能的学生。RetireOPD采用自适应退休机制，学生在与教师的差异停止缩小并达到教师成功率的目标比例后，自主放弃教师，之后仅使用RL进行训练。在Qwen2.5模型（从1.5B到7B）上，RetireOPD在ALFWorld成功率上比RL基线提高了14.1%到18.8%，在WebShop准确率上提高了11.8%到19.0%，并在所有设置中超越了自身的技能条件教师。

🔬 方法详解

问题定义：本文旨在解决多回合强化学习中教师监督不可靠的问题，现有方法在依赖特权信息时效果不佳，且教师监督的效益随任务阶段变化。

核心思路：RetireOPD的核心思想是通过优化一个技能条件的教师，并结合自适应退休机制，使学生能够在适当时机自主放弃教师，从而提高学习效率和效果。

技术框架：该方法的整体架构包括两个主要阶段：首先训练一个去耦合的教师，利用环境奖励进行优化；其次，学生在RL和OPD的共同训练下进行学习，并在适当时机自主放弃教师。

关键创新：RetireOPD的创新之处在于自适应退休机制，允许学生根据与教师的表现差异自主决定何时停止依赖教师，这与传统的固定蒸馏计划形成鲜明对比。

关键设计：在技术细节上，RetireOPD设计了特定的损失函数以平衡RL和OPD的训练目标，并通过设置适当的成功率目标来指导学生的自主退休决策。整体网络结构则包括教师和学生两个模块，确保信息的有效传递与学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RetireOPD在Qwen2.5模型上相较于RL基线，ALFWorld成功率提升了14.1%到18.8%，WebShop准确率提升了11.8%到19.0%。此外，RetireOPD在所有实验设置中均超越了自身的技能条件教师，展现出显著的性能优势。

🎯 应用场景

RetireOPD的研究成果在多回合强化学习的智能体训练中具有广泛的应用潜力，尤其是在需要高效学习和决策的复杂任务场景中，如机器人控制、游戏智能体和自动化系统等。该方法的自适应机制也为未来的智能体设计提供了新的思路，能够提升学习效率和效果。

📄 摘要（原文）

Multi-turn agents trained with reinforcement learning (RL) receive a single scalar reward per trajectory, which motivates self on-policy distillation (OPD) to supply dense token-level supervision from a self-teacher with privileged task skills, letting a skill-free student internalize them. This recipe, however, is undermined by two findings in agentic tasks: privileged information alone does not always make a teacher reliable, and the benefit of teacher supervision is stage-dependent. We therefore propose RetireOPD (Self-Retiring On-Policy Distillation), which first optimizes a decoupled, skill-conditioned teacher with environment rewards and then trains a skill-free student jointly with RL and OPD. Rather than following a predefined distillation schedule, RetireOPD adopts Adaptive Retirement: the student drops the teacher on its own once their discrepancy stops shrinking and it reaches a target fraction of the teacher's success rate, after which training proceeds with RL alone. Across Qwen2.5 models from 1.5B to 7B, RetireOPD improves ALFWorld success rate over RL baseline by 14.1% to 18.8% and WebShop accuracy by 11.8% to 19.0%, and surpasses its own skill-conditioned teacher in every setting.