From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents

📄 arXiv: 2609.29051v1 📥 PDF

作者: Xingyu Su, Abhishek Kumar, Qing Ping, Youzhi Luo, Jonathan Buck, Zach Zhang, Subramanian Chidambaram, Vinayak Arannil

分类: cs.AI

发布日期: 2026-09-24

💡 一句话要点

提出特权自实践方法以解决多回合智能体的表现不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 特权自实践 自蒸馏 多回合智能体 强化学习 任务采样 模型训练

📋 核心要点

  1. 现有的基于策略的自蒸馏方法在多回合智能体中表现不足，导致模型行为自信但缺乏真实信息支持。
  2. 论文提出特权自实践（PSP）方法，通过将特权信息用于任务采样而非损失函数，提升模型的实际表现。
  3. 在AppWorld和SWE-bench Verified基准测试中，PSP方法在不同学生模型上均取得了最佳平均分，任务完成率提升达65%。

📝 摘要（中文）

在这项研究中，我们探讨了在多回合智能体中，现有的基于策略的自蒸馏方法（OPSD）存在的不足。尽管OPSD通过使用特权信息（PI）来监督模型训练，使得学生模型表现出自信的行为，但其实际性能却未能达到预期，甚至低于未训练的基础模型。为此，我们提出了特权自实践（PSP）方法，将特权信息从损失函数中移至采样过程中，通过在任务失败时注入短指令来提升模型的表现。实验结果表明，PSP在多个基准测试中均表现优异，超越了传统的GRPO方法。

🔬 方法详解

问题定义：本论文旨在解决多回合智能体在使用现有的基于策略的自蒸馏方法（OPSD）时，模型表现自信但缺乏真实信息支持的问题。现有方法导致训练后的智能体在某些任务上表现不佳，甚至低于未训练的基础模型。

核心思路：论文提出的特权自实践（PSP）方法，通过将特权信息（PI）从损失函数中移除，转而用于任务采样，旨在提高智能体在面对失败任务时的表现。具体而言，当学生模型在某个任务上表现不佳时，注入由分析模型生成的短指令，重新采样任务并进行训练。

技术框架：PSP方法的整体架构包括三个主要模块：首先是分析模型，用于生成任务指令；其次是采样模块，利用指令重新采样任务；最后是训练模块，基于新的采样结果进行模型训练，保持GRPO目标不变。

关键创新：PSP的核心创新在于将特权信息从损失函数中移除，转而用于指导任务采样。这一设计使得模型能够在任务失败时获得额外的上下文信息，从而提升表现，区别于传统的自蒸馏方法。

关键设计：在PSP方法中，关键参数包括短指令的生成策略和采样策略。损失函数保持不变，依然使用GRPO目标，确保训练过程的稳定性和有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，PSP方法在AppWorld和SWE-bench Verified基准测试中，分别提升了任务目标完成率65%和解决率61%，在所有设置中均取得最佳平均分，且唯一一个持续超越传统GRPO方法的方案。

🎯 应用场景

该研究的潜在应用领域包括对话系统、游戏智能体和其他需要多回合交互的智能体系统。通过提升智能体在复杂任务中的表现，PSP方法能够在实际应用中提高用户体验和任务完成效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy self-distillation (OPSD) has become a popular recipe for post-training LLM agents. It supervises the agent model at the token level with a stronger teacher view of the same model, obtained by conditioning on privileged information (PI). In this work, we show that in multi-turn agents, this paradigm teaches the student to act with confidence but without the information behind it. The trained agent behaves as if it had privileged information it never observed, and its performance falls well short of plain RL, in the worst case below the untrained base model. Therefore, we propose Privileged Self-Practice (PSP), which keeps the PI and moves it from the loss to the sampler. When the student's rollouts on a task mostly fail, we inject a short per-task instruction written by an analyzer model, sample the task again with the instruction in context, and train on the result with an unchanged GRPO objective. The privileged information stays in the prompt and never enters the loss. Across AppWorld and SWE-bench Verified, with three different student models, PSP obtains the best average score in every setting and is the only method that consistently outperforms plain GRPO, improving task-goal completion by up to 65% on AppWorld and the resolved rate by up to 61% on SWE-bench Verified.