Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
作者: Md. Ismail Hossain, Humaira Kousar, Isidora Chara Tourni
分类: cs.LG, cs.CL
发布日期: 2026-09-29
💡 一句话要点
提出OASIS以解决大规模模型自蒸馏中的监督问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自蒸馏 大规模语言模型 监督学习 模型生成 验证轨迹
📋 核心要点
- 现有的策略自蒸馏方法在大规模模型中面临监督效果下降的问题，尤其是依赖于未经验证的学生轨迹。
- 本文提出OASIS方法，通过使用经过验证的标签轨迹进行监督，并用模型生成的尝试作为教师上下文，解决了这一问题。
- 在多个基准测试中，OASIS相较于基线模型平均提升了3.2至3.8分，尤其在8B模型上超越了OPSD的表现，提升幅度达到3.05分。
📝 摘要（中文）
本文研究了在策略自蒸馏（OPSD）中，如何通过引入验证的轨迹来提高大规模语言模型的推理能力。标准的OPSD方法依赖于未经验证的学生轨迹，而教师则基于特权上下文进行指导。研究发现，验证的支架在学生的失败轨迹上仍然有效，从而提出了OASIS方法，主要使用经过验证的标签轨迹进行监督，并用模型生成的尝试替代参考解决方案。实验结果表明，OASIS在多个基准测试中显著提升了模型性能，尤其是在大规模模型上。
🔬 方法详解
问题定义：本文旨在解决在大规模语言模型自蒸馏过程中，监督效果因依赖未经验证的学生轨迹而下降的问题。现有的OPSD方法未能有效利用学生的失败轨迹，导致模仿差距的产生。
核心思路：OASIS方法的核心在于将监督重点转向经过验证的标签轨迹，同时用模型生成的尝试替代传统的参考解决方案。这种设计旨在缩小教师与学生之间的信息差距，从而提高自蒸馏的有效性。
技术框架：OASIS的整体架构包括两个主要模块：一是使用经过验证的标签轨迹进行监督，二是将教师上下文替换为模型生成的尝试。该方法保留了OPSD的目标，但在监督过程中更注重验证的轨迹。
关键创新：OASIS的主要创新在于引入了验证的轨迹作为监督依据，这与传统的OPSD方法依赖未经验证的轨迹形成鲜明对比。这一创新使得模型在自蒸馏过程中能够更好地利用学生的失败信息。
关键设计：OASIS方法的关键设计包括使用最终答案标签进行监督，确保教师的上下文基于学生的尝试而非参考解决方案。这种设计减少了对外部知识的依赖，使得模型在自蒸馏过程中更加自给自足。
🖼️ 关键图片
📊 实验亮点
OASIS在多个基准测试中表现出色，尤其是在Qwen3-1.7B、4B和8B模型上，平均提升了3.2至3.8分。与OPSD相比，在8B模型上OASIS的提升幅度达到3.05分，显示出验证轨迹在大规模模型自蒸馏中的重要性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能问答系统和自动化推理任务。OASIS方法能够提高大规模语言模型的推理能力，具有广泛的实际价值，未来可能推动更高效的自蒸馏技术在各类智能应用中的应用。
📄 摘要（原文）
On-policy self-distillation (OPSD) trains a student to match a privileged teacher distribution along its own sampled trajectory. Standard OPSD applies this supervision to unverified student rollouts while conditioning the teacher on privileged context, typically a reference solution. We separate these roles in a factorial analysis and find that scaffold correctness has a stronger effect on downstream accuracy than context correctness. Unverified scaffolds create an imitation gap because the teacher can use information unavailable to the student. This gap shrinks with model scale, yet OPSD continues to supervise mostly unverified trajectories. In contrast, verified scaffolds remain effective even when the teacher is conditioned on the student's own unsuccessful rollout. Based on this finding, we introduce OASIS, which retains the OPSD objective but supervises mostly verified by label on-policy trajectories and replaces written solutions with unverified model-generated attempts as the teacher context. OASIS therefore requires only final-answer labels. Across Qwen3-1.7B, 4B, and 8B on AIME 2024, AIME 2025, and HMMT 2025, OASIS improves over the base model by 3.2--3.8 points on average, while OPSD's gain falls from 3.05 points at 1.7B to 0.14 at 8B. At 8B, OASIS improves over OPSD by 3.05 points, showing that verified on-policy scaffolds preserve the effectiveness of self-distillation as models scale.