Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals

📄 arXiv: 2610.11247v1 📥 PDF

作者: Lei Zhao, Qichao Zhao, Bowen Zuo, Qishi Zhan

分类: cs.LG, cs.CL

发布日期: 2026-10-08

备注: 50 pages. Code: https://github.com/leizhao7/opd-learning-signals

🔗 代码/项目: GITHUB

💡 一句话要点

分析在策略蒸馏中信号消失问题及其解决方案

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 策略蒸馏 学习信号 动态系统 机器学习 模型迁移

📋 核心要点

  1. 现有的策略蒸馏方法在大规模教师模型下容易出现损失平台期，影响学习效果。
  2. 论文通过分析OPD的动态系统特性，探讨了学习信号衰减的原因，并提出了局部恢复的理论保证。
  3. 实验结果显示，使用自强化学习教师的最终损失显著低于传统OPD，且学生模型的表示在蒸馏前后高度相似。

📝 摘要（中文）

在策略蒸馏（OPD）中，尽管其在语言模型间的能力转移上表现有效，但其失败机制尚不完全清楚。研究发现，使用大规模教师模型的OPD在代码生成和数学推理任务中表现出早期损失平台期，经过200次更新后，最终损失减少平均为25.1%，而自强化学习教师则为96.2%。通过将OPD视为理想化的连续时间动态系统，分析其在小学习率极限下的表现，发现损失平台期与基于梯度的学习信号代理的早期下降有关。论文还证明了在共享参数化下，教师模型与初始学生模型足够接近时的局部恢复保证，为自强化学习教师的成功提供了条件性解释。

🔬 方法详解

问题定义：本研究旨在解决在策略蒸馏过程中出现的学习信号消失问题，尤其是在使用大规模教师模型时，导致的早期损失平台期。现有方法未能有效解释这一现象的根本原因。

核心思路：论文通过将OPD视为一个理想化的连续时间动态系统，分析其在小学习率下的行为，揭示了学习信号衰减的机制，并提出了在特定条件下的局部恢复保证。

技术框架：整体架构包括对OPD过程的建模、训练日志的诊断分析以及对教师与学生模型之间相似性的评估。主要模块包括动态系统分析、梯度信号监测和参数变化评估。

关键创新：论文的创新点在于首次将OPD视为动态系统进行深入分析，揭示了学习信号衰减的原因，并提供了局部恢复的理论保证，这与传统方法的静态分析形成鲜明对比。

关键设计：在实验中，设置了不同的学习率和参数共享条件，使用线性CKA度量学生模型在蒸馏前后的表示相似性，确保了实验结果的可靠性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，使用自强化学习教师的最终损失减少了96.2%，而OPD则仅为25.1%。此外，学生模型在蒸馏前后的表示相似性高达0.98，显示出有限的表示适应可能导致学习信号崩溃的假设。

🎯 应用场景

该研究为策略蒸馏技术提供了新的理论视角，能够帮助改进语言模型的能力转移，尤其在代码生成和数学推理等领域具有潜在应用价值。未来，优化学习信号的传递机制可能会提升多种机器学习任务的性能。

📄 摘要（原文）

On-policy distillation (OPD) enables effective capability transfer between language models, yet the mechanisms underlying its failures are not fully understood. Across code generation and mathematical reasoning, OPD with larger-scale teachers exhibits early loss plateaus, with an average final loss reduction of 25.1% after 200 updates, compared with 96.2% for self-RL teachers, obtained by further reinforcement learning (RL) training of the initial student. To understand this difference, we analyze OPD as an idealized continuous-time dynamical system in the small-learning-rate limit. Our training-log diagnostics associate these plateaus with an early decline in a gradient-based learning-signal proxy while substantial loss remains; these measurements do not establish why the underlying gradient weakens. We further prove a local recovery guarantee for teachers sufficiently close to the initial student in a shared parameterization under regularity conditions, offering a conditional explanation for the success of self-RL teachers in our experiments. Across runs with and without loss plateaus, we observe small relative parameter changes (0.025-0.098%) and high similarity between the student's representations before and after OPD (linear CKA $>0.98$ across layers). These observations suggest that limited representation adaptation may contribute to learning-signal collapse, a hypothesis that remains to be tested. Code is available at https://github.com/leizhao7/opd-learning-signals.