Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight

📄 arXiv: 2610.08077v1 📥 PDF

作者: Haoxiang Zhang, Qinglin Chen, Hiroaki Hayashi, Zhuofeng Li, Siming Zhang, Jiaxin Zhang, Jixuan Chen, Fang Wu, Pan Lu, Silvio Savarese, Julian McAuley, Chien-Sheng Wu

分类: cs.AI, cs.CL, cs.IR, cs.LG

发布日期: 2026-10-06

💡 一句话要点

提出自回顾蒸馏方法以解决强化学习中的奖励稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自回顾蒸馏 强化学习 奖励稀缺 前瞻性学习 智能体学习 经验利用 决策优化

📋 核心要点

  1. 现有的强化学习方法在面对群体相对目标时，奖励信号的消失导致智能体难以从经验中学习有效信息。
  2. 本文提出的自回顾蒸馏（SRD）方法，通过后见经验来指导智能体的前瞻性预测，从而提升学习效果。
  3. 实验结果显示，SRD在奖励稀缺的情况下，能够将成功率从0%提升至60.6%，显著改善了智能体的表现。

📝 摘要（中文）

强化学习中的可验证奖励（RLVR）主要通过交互后的标量结果奖励将智能体经验转化为学习信号。然而，对于群体相对目标，当所有回合获得相同奖励时，这一信号会消失。本文提出了前瞻性学习，利用后见经验来监督智能体在行动前的预测，进而引入自回顾蒸馏（SRD）方法。SRD将完成的轨迹中提取的知识和避免的陷阱蒸馏为无轨迹的前瞻性预测，作为训练目标，而不需要在推理时显式生成。实验结果表明，SRD在10个工具集成推理和长时间跨度的任务中，能够显著提升RLVR和自蒸馏基线的性能，尤其在奖励对比稀缺的情况下，SRD仍能有效利用采样轨迹中的学习信号。

🔬 方法详解

问题定义：本文旨在解决在群体相对目标下，强化学习中奖励信号消失的问题。现有方法在所有回合获得相同奖励时，智能体无法从经验中提取有用信息。

核心思路：论文提出的自回顾蒸馏（SRD）方法，利用智能体的后见经验来指导其前瞻性预测，帮助智能体在行动前更好地理解任务需求和潜在失败。

技术框架：SRD的整体架构包括两个主要阶段：首先，通过完成的轨迹提取知识和避免的陷阱；其次，将这些信息转化为无轨迹的前瞻性预测，作为训练目标。

关键创新：SRD的核心创新在于将后见经验转化为前瞻性学习信号，这一方法与传统的基于奖励的学习方式有本质区别，能够在奖励稀缺的情况下仍然有效。

关键设计：在技术细节上，SRD设计了特定的损失函数来优化前瞻性预测，并采用了适应性的网络结构，以便更好地处理不同任务的复杂性。通过这些设计，SRD能够在多种任务中实现显著的性能提升。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，在98%的回合均为失败的情况下，使用SRD的智能体成功率从0%提升至60.6%。在奖励对比稀缺的场景中，SRD相较于基线方法的提升幅度可达24.2个百分点，显示出其强大的学习能力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能游戏代理等。在这些领域中，智能体常常面临奖励稀缺或不均匀的情况，SRD方法能够有效提升智能体的学习能力和决策质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) turns agent experience into learning signals primarily through scalar outcome rewards after interaction. For group-relative objectives, however, this signal vanishes when all rollouts receive the same reward, even though their trajectories may reveal useful information about what the task requires and how the agent fails. We ask a complementary question: can hindsight teach an agent what it could have anticipated before acting? We introduce prospective learning, which uses post-hoc experience to supervise foresight predictions from the pre-interaction view, and instantiate it with Self-Retrospection Distillation (SRD). Intuitively, a completed trajectory reveals knowledge that would have been useful and pitfalls that should be avoided; SRD distills this privileged hindsight into trajectory-blind foresight of the same policy. Foresight serves only as a training target and need not be explicitly generated at inference time. Across 10 tool-integrated reasoning and long-horizon agentic tasks, SRD complements RLVR and self-distillation baselines with gains of up to $24.2$ pp. Its advantage is especially pronounced when reward contrast is scarce: when $37$--$98\%$ of rollout groups are reward-uniform across model scales, yet SRD can still exploit learning signal from sampled trajectories. In the 2B setting, where $98\%$ of groups are all-failure, the RLVR training ends up at $0.0\%$ success, while adding SRD reaches $60.6\%$ under the same rollout budget. Our results suggest that post-hoc agent experience is useful not only for evaluating or improving behavior, but also for shaping predictive representations before available interaction.