Self-Evolving Agents through Privileged Retrospective Distillation

📄 arXiv: 2610.27495v1 📥 PDF

作者: Yuhang Zhou, Yifan Wu, Bo Peng, Mingyi Wang, Jiayi Liu, Xiangjun Fan, Lizhu Zhang, Zhuokai Zhao

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-20

备注: 26 pages, 5 figures

💡 一句话要点

提出自我演化代理以解决缺乏真实奖励的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自我演化代理 回顾性自我蒸馏 强化学习 动态环境 模型优化

📋 核心要点

  1. 现有的自我演化代理在缺乏真实奖励的情况下，难以有效利用自然收集的经验进行学习和改进。
  2. 论文提出的回顾性自我蒸馏（RSD）框架，通过教师-学生机制，将经验转化为密集的监督信号，实现模型的自我演化。
  3. 在ALFWorld、ScienceWorld和SearchQA等任务中，RSD相较于基础模型性能提升最高可达59.7%，显示出显著的改进效果。

📝 摘要（中文）

自我演化代理旨在通过自身经验进行改进，而不是在部署后保持固定。然而，自然收集的轨迹通常缺乏真实解决方案或验证者衍生的奖励。本文提出了回顾性自我蒸馏（RSD），这是一个多轮框架，通过特权回顾上下文将经验转化为密集监督。对于每个在政策轨迹中，模型同时充当学生和教师：教师在跨任务前例和教训的条件下重新评分学生的实际动作，并结合逐轮反思和未来的回顾。最终的教师分布通过在政策中的自我蒸馏进行回馈。通过不断增长的经验库和更新的回顾上下文，模型、数据和监督得以共同演化。实验结果表明，RSD在多个任务上相较于基础模型性能提升最高可达59.7%。

🔬 方法详解

问题定义：本文解决的问题是如何在缺乏真实奖励的情况下，利用自我收集的经验来提升代理的学习能力。现有方法往往依赖于固定的奖励信号，导致模型无法自我改进。

核心思路：论文的核心思路是通过回顾性自我蒸馏（RSD）框架，将代理的经验转化为密集的监督信号。模型在每个轨迹中充当学生和教师，通过教师对学生动作的重新评分，结合跨任务的前例和反思，促进模型的自我演化。

技术框架：RSD框架包括多个阶段：首先，模型收集在政策下的轨迹；其次，教师对学生的动作进行评分；然后，将教师分布通过自我蒸馏反馈到政策中。随着经验库的增长，回顾上下文不断更新，促进模型和数据的共同演化。

关键创新：最重要的创新点在于引入了回顾性上下文，使得模型能够在没有真实奖励的情况下，通过自我蒸馏机制进行有效学习。这种设计与传统的依赖固定奖励的方法有本质区别。

关键设计：在实现过程中，关键设计包括教师-学生机制的构建、损失函数的选择以及如何有效地更新回顾上下文等技术细节。这些设计确保了模型在自我演化过程中的稳定性和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，RSD在ALFWorld、ScienceWorld和SearchQA等任务上，相较于基础模型性能提升最高可达59.7%。此外，前沿引导的上下文-政策演化进一步提升了性能，最高可达44.7%的相对改进，显示出该方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能代理和强化学习系统等。通过实现自我演化，代理能够在动态环境中不断优化自身决策能力，提升任务执行效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Self-evolving agents aim to improve from their own experience rather than remain fixed after deployment, but naturally collected trajectories often lack ground-truth solutions or verifier-derived rewards. We introduce Retrospective Self-Distillation (RSD), a multi-round framework that turns such experience into dense supervision using privileged retrospective context. For each on-policy trajectory, the same underlying model acts as both student and teacher: the teacher re-scores the student's realized actions while conditioning on cross-task precedents and lessons, together with turn-level reflection and future hindsight from the completed trajectory. The resulting teacher distribution is distilled back into the policy through on-policy self-distillation. Across rounds, the experience bank grows and the retrospective context is refreshed, allowing the model, its data, and its supervision to co-evolve. We further introduce frontier-guided context-policy evolution, where a stronger frontier model proposes constrained edits to how privileged context is constructed. Across ALFWorld, ScienceWorld, and SearchQA with Qwen3-8B and Qwen3-14B, RSD improves performance by up to 59.7% relative to the base model, while frontier-guided context-policy evolution adds up to a further 44.7% relative improvement over a fixed context policy. These results show that naturally accumulated experience can be converted into persistent model capability without ground-truth trajectories or verifier-derived rewards for the core policy update.