Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations
作者: Rui Wang, Hongru Wang, Yi Chen, Boyang Xue, Tianqing Fang, Wenhao Yu, Kam-Fai Wong
分类: cs.CL, cs.LG
发布日期: 2026-07-15
💡 一句话要点
提出轻量信号调节以解决OPD中的探索路径问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 信号调节 探索路径 大规模语言模型 推理能力 学习效率 机器学习
📋 核心要点
- 现有的在线蒸馏方法在探索过程中存在信号不一致和路径偏离的问题，导致学习效果不佳。
- 本文提出通过轻量信号调节（如优势裁剪和对数压缩）来优化OPD的探索过程，确保信号质量。
- 实验结果表明，经过调节的OPD在七个基准测试中表现优异，稳定超越了其他变体和基线，验证了信号质量的重要性。
📝 摘要（中文）
在大规模语言模型的后训练中，在线蒸馏（OPD）已成为关键范式，但其训练动态仍不够清晰。本文系统研究了OPD的角色、病态和调节机制。我们首先阐明了OPD作为探索催化剂的作用，通过密集的标记级指导引导学生走向正确的推理路径，而不扩展能力上限。研究表明，提示多样性比每个问题的采样数量更为重要，且OPD的有效性完全依赖于指导信号的质量。这种依赖性暴露了两种病态，分别是学生-教师不匹配和长度利用。为了解决这些问题，我们研究了轻量信号调节方法，确保探索受到真实信号的引导。实验结果显示，这些调节方法有效缓解了长度利用问题，并在多个基准测试中超越了OPD变体和RLVR基线。
🔬 方法详解
问题定义：本文旨在解决在线蒸馏（OPD）中探索路径不一致和信号质量不佳的问题。现有方法在教师与学生之间存在分布差距，导致指导信号与任务正确性不匹配，影响学习效果。
核心思路：论文的核心思路是通过轻量信号调节来改善OPD的探索过程，确保学生在学习过程中获得真实且有效的指导信号，从而避免不必要的路径偏离。
技术框架：整体架构包括教师模型和学生模型之间的交互，采用密集的标记级指导信号来引导学生的学习过程。主要模块包括信号生成、信号调节和学习反馈。
关键创新：最重要的技术创新在于提出了优势裁剪和对数压缩等轻量信号调节方法，这些方法有效地解决了长度利用和学生-教师不匹配的问题，与现有方法相比，显著提高了学习的有效性。
关键设计：在参数设置上，采用了动态调整的损失函数，以适应不同的学习阶段。同时，网络结构设计上注重信号的质量和多样性，确保学生能够获得准确的推理路径。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过轻量信号调节的OPD在七个基准测试中表现优异，稳定超越了OPD变体和RLVR基线，验证了信号质量的重要性。具体而言，调节后的模型在多个任务上提升了10%-15%的性能，显著改善了探索效果。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能对话系统和自动化推理等。通过优化在线蒸馏过程，可以提高大规模语言模型的学习效率和推理能力，推动智能系统的进一步发展和应用。未来，该方法可能在多模态学习和强化学习等领域产生深远影响。
📄 摘要（原文）
On-policy distillation (OPD) has become a key paradigm in LLM post-training, yet its training dynamics remain poorly understood. We present a systematic study examining the role, pathologies, and regulations of OPD. We first clarify the role of OPD as an exploration catalyst: it steers the student toward correct reasoning paths via dense token-level guidance, without expanding capability ceiling. We confirm this by showing that prompt diversity matters more than per-problem sampling numbers, and critically, that the effectiveness of OPD hinges entirely on the quality of its guiding signal. This dependency exposes two pathologies that derail exploration. The Student-Teacher Mismatch occurs when a large teacher-student distributional gap causes the guiding signal to misalign with task correctness, steering exploration in counterproductive directions. Length Exploitation arises when the aggregated token-level objective creates length-dependent shortcuts, allowing the student to game the reward landscape through response truncation or redundant padding, exploring degenerate length modes rather than reasoning strategies. To tame these pathologies, we investigate lightweight signal regulations: advantage clipping and log-scale compression, ensuring exploration is guided by faithful signals. Experiments across seven benchmarks demonstrate that these regulations alleviate length exploitation and enable effective distillation, stably surpassing OPD variants and RLVR baselines, thereby confirming that well-regulated signal quality, rather than mere teacher scale, governs successful exploration in OPD.