Diagnosing On-Policy Self-Distillation for Reasoning Language Models

📄 arXiv: 2609.39118v1 📥 PDF

作者: Yang Li, Gongle Xue, Yuheng Yuan, Yijia Guo, Shizhe Zhang, Liwen Hu, Lei Ma

分类: cs.CL

发布日期: 2026-09-30

💡 一句话要点

诊断在政策自蒸馏以提升语言模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 语言模型 推理能力 数学推理 教师信号 模型诊断 深度学习

📋 核心要点

  1. 现有的在政策自蒸馏方法在语言推理中的表现不稳定，结果从适度提升到行为崩溃不等。
  2. 本文通过对数学推理的诊断，揭示了教师信号的形成受推理模式对齐和教师前缀的影响。
  3. 实验结果显示，OPSD仅在特定兼容性范围内有效，其他情况下可能导致性能下降或行为崩溃。

📝 摘要（中文）

在政策自蒸馏（OPSD）作为提升语言模型推理能力的有效方法受到越来越多关注的背景下，本文探讨了其在数学推理中的表现。研究表明，教师信号受推理模式对齐和完整教师前缀的影响，而不仅仅是特权语义。OPSD在狭窄的兼容性范围内有效，但在其他情况下可能导致无效的长度增长、稳定退化或行为崩溃。基于这些发现，本文认为OPSD是一种敏感算法，而非普遍可靠的推理改进后训练方法。

🔬 方法详解

问题定义：本文旨在解决在政策自蒸馏（OPSD）在语言推理中的不确定性和不稳定性问题，现有方法在不同模型中表现差异较大。

核心思路：通过对OPSD进行系统的诊断，分析教师信号的形成机制，强调推理模式对齐和教师前缀的重要性。

技术框架：研究采用了控制实验和逐词分析的方法，涵盖了从0.6B到8B参数的多个模型，全面探讨了OPSD的行为。

关键创新：提出教师信号不仅受特权语义影响，还与推理模式对齐和教师前缀的完整性密切相关，这是与现有方法的本质区别。

关键设计：实验中对教师信号的稳定性进行了分析，发现其与下游性能的预测能力较弱，强调了OPSD作为一种敏感算法的特性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，OPSD在狭窄的兼容性范围内能够提升推理能力，但在其他情况下可能导致性能下降。具体而言，某些模型在使用OPSD后表现出稳定退化或行为崩溃，显示出该方法的敏感性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的推理任务，如数学问题求解和逻辑推理。通过深入理解OPSD的行为，可以为未来的语言模型训练提供指导，提升模型在复杂推理任务中的表现。

📄 摘要（原文）

On-policy self-distillation (OPSD) has attracted growing interest as a promising approach to improve the reasoning ability of language models. Without external rewards nor a separate stronger teacher, the self-teacher with privileged information could provide dense signals on student's trajectories. However, its behavior in language reasoning remains unclear, with reported outcomes ranging from modest gains to behavioral collapse. In this work, we diagnose OPSD for mathematical reasoning across models spanning 0.6B--8B parameters. We conduct controlled experiments and token-level analyses to fully delve into OPSD. We point out that teacher's signal is shaped by reasoning-mode alignment and the complete teacher prefix, rather than by privileged semantics alone. OPSD improves reasoning only in narrow compatibility regimes. Otherwise, it produces ineffective length growth, stable degradation, or behavioral collapse. Token-level analysis shows that teacher's signal is not stable and does not predict downstream performance. Based on these results, we argue that OPSD is a sensitive algorithm rather than a generally reliable reasoning-improvement post-training method.