Solving Without Stopping: On-Policy Distillation at Small Scale
作者: Hongyang Li, Yiming Zhu, Xiao Li, Caesar Wu, Said Mammar, Pascal Bouvry
分类: cs.AI, cs.CL
发布日期: 2026-09-29
备注: 22 pages, 13 figures
💡 一句话要点
提出小规模蒸馏训练方法以提升模型推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 小规模模型 推理能力 能力转移 自然语言处理
📋 核心要点
- 现有的在线蒸馏方法在小规模模型的推理能力转移上存在不足，尤其是在判断何时停止推理方面。
- 论文提出了一种新的在线蒸馏训练方法，旨在提升小规模模型在推理过程中的表现，特别是在长时间推理和停止判断能力上。
- 实验结果显示，蒸馏训练在解决问题的能力上有显著提升，但小模型在停止推理的能力上仍然不足，尤其是较小的模型表现更为明显。
📝 摘要（中文）
本文探讨了在小规模模型中进行的在线蒸馏训练，分析了从强教师模型向小学生模型转移的推理能力。通过将Qwen3-8B蒸馏为多个小规模学生模型（如Qwen3 4B、1.7B和0.6B），研究发现长时间推理需要解决问题的能力和判断何时解决问题的能力。结果表明，蒸馏训练在解决问题的能力上有所提升，但在判断何时停止推理的能力上却未能有效转移。此外，较小的学生模型在推理过程中表现出较少的停止能力，导致其在训练后仍未能充分利用已有的正确答案。
🔬 方法详解
问题定义：本文旨在解决小规模模型在推理能力转移中的不足，尤其是如何有效地从强教师模型中学习到判断何时停止推理的能力。现有方法在这方面的表现不佳，导致小模型的推理效果受限。
核心思路：论文的核心思路是通过在线蒸馏训练，让学生模型在推理过程中学习教师模型的反馈，从而提升其解决问题的能力和停止判断能力。设计上强调了思考模式与非思考模式的对比，以便更好地理解能力转移的机制。
技术框架：整体架构包括教师模型与多个学生模型的互动，学生模型在推理过程中接受教师的反馈。主要模块包括推理阶段、反馈阶段和能力评估阶段，分别负责模型的推理、教师反馈的传递和能力的综合评估。
关键创新：论文的创新点在于深入分析了蒸馏训练对小规模模型的影响，特别是在推理能力和停止判断能力上的差异。这种分析为理解模型学习过程提供了新的视角。
关键设计：在实验中，采用了不同规模的学生模型（如4B、1.7B和0.6B），并设计了相应的损失函数以优化推理过程。同时，关注了模型在训练过程中的停止能力，确保蒸馏训练能够有效保留学生模型的正确答案标记。
🖼️ 关键图片
📊 实验亮点
实验结果表明，蒸馏训练在解决问题的能力上有显著提升，尤其是在较大模型与较小模型之间的对比中，较小模型的表现仍然低于教师模型。具体而言，学生模型在多次尝试中未能超越其训练前的最佳表现，且在停止推理的能力上存在明显不足。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和对话系统等。通过提升小规模模型的推理能力，能够在资源受限的环境中实现更高效的推理和决策，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation, where a student learns from a stronger teacher's feedback on its own outputs, is a common way to pass reasoning to smaller models. We analyze what it transfers at small scale, distilling Qwen3-8B into Qwen3 4B, 1.7B and 0.6B students, in thinking mode (reason at length, then end the reasoning and answer) and, for comparison, in non-thinking mode (no separate reasoning phase). Long reasoning needs two abilities, solving a problem and knowing when it is solved, and we find that distillation transfers the first, but in thinking mode not the second. Solving improves at every size, up to two ceilings, which we measure comprehensively across both modes and all student sizes: a student's single attempt never exceeds what it could already reach in many attempts before training, and the smaller the student, the further it stays below the teacher. Stopping is where the modes part. In non-thinking mode every student keeps stopping; in thinking mode students stop ending their reasoning early in training, and the smaller the student, the less of this ability survives: the teacher signals a stop almost only where a student already ends its reasoning, so distillation teaches no new stops; it only keeps the student's existing stops that land on a right answer, and a weak student has few such stops. The smallest students often reach the right value but do not commit to it: they either rarely mark it or mark it and write past it. Together, these results describe how small students behave under on-policy distillation, and a diagnostic that separates answer marking, correctness and stopping.