Recursive Self-Improvement via On-Policy Distillation for Reasoning

📄 arXiv: 2609.30652v1 📥 PDF

作者: Shangjian Yin, Zehao Zhao, Kavosh Asadi, Rui Liu, Yuchen Lu, Shike Mei, Hang Cui, Luke Simon, Zhouxing Shi, Hamed Firooz

分类: cs.CL

发布日期: 2026-09-25

💡 一句话要点

提出递归自我改进方法以提升推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 自我蒸馏 动态共同进化 自我精炼 推理能力提升

📋 核心要点

  1. 现有的在线自蒸馏方法在教师模型冻结的情况下，无法有效吸收学生模型的改进，导致训练效果受限。
  2. 本文提出动态共同进化（DCE）和自我精炼简洁学习（SRCL）两种方法，使教师模型与学生模型共同进化，提升学习效果。
  3. 在多个数学基准测试中，DCE+SRCL方法显著提高了模型性能，尤其在Qwen3-8B模型上表现出色，提升幅度达到35.62%。

📝 摘要（中文）

本文提出了一种基于在线蒸馏的递归自我改进方法，通过让学生模型生成轨迹并与外部教师模型的预测进行匹配，从而提供密集的标记级监督。我们进一步提出在线自蒸馏方法，利用冻结的学生模型作为教师，消除外部教师的需求。为了解决冻结教师模型带来的局限性，我们引入了动态共同进化（DCE）和自我精炼简洁学习（SRCL）两个互补组件。实验结果表明，DCE+SRCL在多个模型规模和数学基准测试中均优于在线自蒸馏，尤其在Qwen3-8B模型上，DCE+SRCL的表现超出OPSD 35.62个百分点，同时输出长度减少7.80%。

🔬 方法详解

问题定义：本文旨在解决在线自蒸馏中教师模型冻结导致的学习效果受限的问题。现有方法未能有效利用学生模型的改进，影响了训练的稳定性和性能。

核心思路：我们提出动态共同进化（DCE）和自我精炼简洁学习（SRCL）两种方法，允许教师模型与学生模型共同进化，从而在每一轮训练中相互促进，提升学习效果。

技术框架：整体架构包括两个主要模块：第一，动态共同进化模块，教师模型与学生模型共同训练；第二，自我精炼简洁学习模块，训练学生模型生成更简洁的响应。

关键创新：最重要的创新在于引入了动态共同进化机制，使教师模型能够吸收学生模型的改进，从而提升整体训练效果。这与传统的冻结教师模型方法形成了鲜明对比。

关键设计：在模型训练中，我们设置了特定的损失函数以平衡教师与学生模型的学习目标，同时优化了模型的输出长度，确保生成的响应既准确又简洁。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，DCE+SRCL方法在Qwen3-8B模型上达到了65.97%的Average@12，超出OPSD 35.62个百分点，同时输出长度相较于DCE单独使用减少了7.80%。这一显著提升表明了新方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提升模型的推理能力和生成质量，能够在实际应用中提供更为精准和高效的服务，具有重要的实际价值和长远影响。

📄 摘要（原文）

On-policy distillation (OPD) trains a student model by having it generate trajectories, then matching its next-token predictions with an external teacher's next-token predictions. This provides dense, token-level supervision to the student. On-policy self-distillation (OPSD) eliminates the need for the external teacher. Specifically, a second frozen copy of the student model, now given the ground truth in its context, serves as the teacher. The student model only receives the problem and learns to mimic the privileged teacher model, while the teacher remains frozen throughout training. Previous work showed that freezing the teacher is useful for training stability, but we argue that this can prevent the teacher from incorporating the improvements learned by the student during training. Our primary contribution is to address this limitation with a recursive framework built around two complementary components. First, we let the privileged teacher co-evolve with the student so that revision learned in one round can guide the next, a process we refer to as Dynamic Co-Evolution (DCE). Second, because stronger revision can also make responses too verbose and self-critical, we additionally train on shorter, verified rewrites of the model's own on-policy responses. We call this complementary objective Self-Refined Concise Learning (SRCL). Overall, our comprehensive evaluations show that DCE+SRCL outperforms OPSD across multiple model scales and four competition-level mathematics benchmarks. Specifically, on Qwen3-8B, DCE+SRCL reaches 65.97% Average@12, outperforming OPSD by 35.62 percentage points while reducing mean output length by 7.80% relative to DCE alone.