LoOPSD: On-Policy Self-Distillation with Looped Teachers

📄 arXiv: 2610.18162v1 📥 PDF

作者: Wei Fan, Qingyue Yang, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li, Kejiang Chen, Weiming Zhang, Nenghai Yu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-13

备注: Under Review

💡 一句话要点

提出LoOPSD以通过层执行顺序优化自我蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自我蒸馏 层执行顺序 模型优化 数学推理 逻辑推理 深度学习 人工智能

📋 核心要点

  1. 现有的自我蒸馏方法依赖于教师提供更有用的预测，限制了模型的自我改进能力。
  2. LoOPSD通过搜索模型层的执行顺序，构建更强的教师，从而实现自我蒸馏，提升学生模型的能力。
  3. 在GSM8K数据集上，LoOPSD将Qwen3-1.7B模型的准确率从42.30%提升至79.61%，显示出显著的性能提升。

📝 摘要（中文）

在政策自我蒸馏中，模型通过自身的指导进行改进，但仍需一个提供更有用预测的教师。现有方法通过为教师提供额外的上下文或指令来获得这种指导。本文提出LoOPSD，通过搜索模型的层执行顺序来构建更强的教师，并将其优势蒸馏到学生中。具体而言，我们保持模型权重不变，搜索需要重复的层，并利用教师对学生生成的前缀的预测来指导学习。实验表明，在数学和逻辑推理任务上，LoOPSD显著提高了模型的性能。

🔬 方法详解

问题定义：本文旨在解决现有自我蒸馏方法中教师预测不足的问题，现有方法通常依赖于额外的上下文或指令来增强教师的能力。

核心思路：LoOPSD的核心思路是通过改变模型层的执行顺序来构建教师，而不是依赖外部信息，从而使模型能够自我优化。

技术框架：该方法包括两个主要阶段：首先是层执行顺序的搜索阶段，其次是蒸馏阶段。在每一轮中，模型的层执行顺序会被调整，以生成新的教师，然后利用该教师的预测来指导学生的学习。

关键创新：LoOPSD的创新在于通过搜索层执行顺序来构建教师，这一方法与传统的依赖外部信息的自我蒸馏方法本质上不同，能够更有效地利用模型自身的计算能力。

关键设计：在设计中，模型权重保持不变，搜索过程中选择重复的层，并使用教师对学生生成的前缀的预测作为学习指导，确保学生逐步吸收教师的优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LoOPSD在GSM8K数据集上将Qwen3-1.7B模型的准确率从42.30%提升至79.61%，并且后续的蒸馏轮次进一步提升了模型性能，证明了该方法的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、数学推理和逻辑推理等任务，能够有效提升模型在复杂任务中的表现。未来，LoOPSD可能在自我学习和自我优化的智能系统中发挥重要作用，推动人工智能的自主学习能力。

📄 摘要（原文）

On-policy self-distillation improves a model using guidance from the model itself, but it still requires a teacher that provides more useful predictions than the student. Existing approaches obtain such guidance by giving the teacher additional context or instructions. We ask whether it can instead come from changing how the same model uses its own layers. To address this, we introduce LoOPSD, which searches over a model's layer execution order to construct a stronger teacher and distills its advantage into the student. Specifically, we keep the model weights unchanged while searching for layers to repeat, and use the resulting teacher's predictions on student-generated prefixes to guide learning. We then alternate search and distillation, rebuilding the teacher from the updated student in each round so that the student progressively absorbs the gains from alternative layer execution. Experiments on mathematical and logical reasoning tasks show improvements across models. On GSM8K with a 400-token thinking budget, LoOPSD raises Qwen3-1.7B accuracy from 42.30% to 79.61%; subsequent distillation rounds yield further gains beyond the first round. Together, these findings show that by searching layer execution to construct teachers, we can turn a model's additional computation into improved student capabilities, opening a new avenue for self-distillation to derive supervision from the model's own computation.