Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization

📄 arXiv: 2610.25973v1 📥 PDF

作者: Suwan Yoon, Seongryong Jung, Changhee Lee

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-19

备注: Preprint

💡 一句话要点

提出不对称目标分布以优化自蒸馏策略

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 策略优化 强化学习 模型训练 行为纠正

📋 核心要点

  1. 现有自蒸馏策略优化方法在匹配自教师时，可能会破坏正确行为并对错误行为的纠正不足。
  2. 论文提出的不对称策略优化（APSD）通过混合学生与自教师的分布，构建依赖于正确性的目标，以平衡成功与错误的行为纠正。
  3. 实验结果表明，APSD在强化学习任务中表现优异，且在训练步骤上显著减少，提升了训练效率。

📝 摘要（中文）

自蒸馏策略优化通过反馈条件自教师为大规模语言模型后训练提供了密集的标记级监督。然而，直接匹配自教师可能会破坏正确回合中的成功行为，同时对错误回合提供的纠正不足。我们提出了通过自蒸馏的不对称策略优化（APSD），通过混合学生和自教师分布构建依赖于正确性的目标：插值保留正确回合中的成功行为，而超出自教师的外推则加强对错误回合的纠正。我们通过散度分解、反向KL重心几何和梯度分析分析了APSD，强调了通过学生依赖目标的梯度流的重要性。实验结果显示，APSD在可验证奖励和丰富反馈的强化学习下，整体性能优于强化学习和自蒸馏基线，并且在Qwen3模型规模上平均减少2.6倍训练步骤即可匹配SDPO的性能。

🔬 方法详解

问题定义：本文旨在解决自蒸馏策略优化中，直接匹配自教师导致的成功行为破坏和错误行为纠正不足的问题。现有方法在处理正确与错误回合时存在显著不足。

核心思路：论文提出的不对称策略优化（APSD）通过构建依赖于正确性的目标，采用插值与外推的方式，分别保留成功行为和加强错误行为的纠正，从而优化策略学习过程。

技术框架：APSD的整体架构包括学生模型与自教师模型的交互，通过混合分布生成目标，利用散度分解与梯度分析来优化策略。主要模块包括目标构建、梯度流分析和策略更新。

关键创新：APSD的核心创新在于通过混合学生与自教师的分布，形成不对称的目标分布，从而有效地平衡了对正确与错误行为的纠正，与传统方法相比，显著提升了策略优化的效果。

关键设计：在设计中，采用了特定的损失函数以适应目标的构建，确保在训练过程中能够有效地引导梯度流向学生依赖目标，同时优化网络结构以支持复杂的分布混合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，APSD在强化学习任务中表现出色，整体性能优于现有的强化学习和自蒸馏基线，并且在Qwen3模型规模上，训练步骤平均减少了2.6倍，显著提升了训练效率。

🎯 应用场景

该研究的潜在应用领域包括强化学习、机器人控制和自然语言处理等。通过优化自蒸馏策略，能够提升模型在复杂任务中的学习效率和性能，具有重要的实际价值和未来影响，尤其是在需要快速适应和高效学习的场景中。

📄 摘要（原文）

Self-distillation policy optimization provides dense token-level supervision for LLM post-training through feedback-conditioned self-teachers. However, directly matching the self-teacher can disrupt successful behaviors on correct rollouts while providing insufficient correction on incorrect ones. We propose Asymmetric Policy Optimization via Self-Distillation (APSD), which constructs correctness-dependent targets by mixing student and self-teacher distributions: interpolation preserves successful behaviors on correct rollouts, while extrapolation beyond the self-teacher strengthens correction on incorrect ones. We analyze APSD through divergence decomposition, reverse-KL barycentric geometry, and gradient analysis, highlighting the importance of gradient flow through student-dependent targets. Experiments under reinforcement learning with verifiable rewards and rich feedback show that APSD achieves strong overall performance against reinforcement-learning and self-distillation baselines and matches SDPO performance with 2.6x fewer training steps on average across Qwen3 model scales.