Not Every Rollout Needs Distillation: Correctness-Filtered On-Policy Self-Distillation

📄 arXiv: 2610.25842v1 📥 PDF

作者: Harrison Zhao, Lei Huang, Fei Liu, Wen Shi, Zijian Jin

分类: cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出正确性过滤的在线自蒸馏方法以提高计算效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线自蒸馏 计算效率 机器学习 深度学习 模型训练 错误响应过滤 蒸馏训练

📋 核心要点

  1. 现有的在线自蒸馏方法在每个轨迹都进行蒸馏，导致计算资源的浪费，尤其是对错误响应的处理。
  2. 本文提出的C-OPSD方法通过过滤错误响应，仅对部分错误响应进行蒸馏，从而提高了计算效率。
  3. 实验结果显示，C-OPSD在多个模型上与完整OPSD性能相当，同时显著减少了训练时间和计算量。

📝 摘要（中文）

在线自蒸馏（OPSD）通过参考条件版本的基础模型来监督学生生成的轨迹。本文探讨了每个轨迹是否都提供了值得蒸馏的独特监督。研究发现，正确和错误的响应在梯度大小上相似，但错误响应的梯度共享约为正确响应的三倍。基于这些发现，提出了正确性过滤的在线自蒸馏（C-OPSD），该方法仅蒸馏部分错误响应。实验表明，C-OPSD在多个模型上表现与完整OPSD相当，同时减少了约68%的执行行，训练时间减少约40%。

🔬 方法详解

问题定义：本文旨在解决在线自蒸馏（OPSD）中每个轨迹都进行蒸馏所带来的计算资源浪费问题，尤其是错误响应的处理效率低下。

核心思路：提出的C-OPSD方法通过正确性过滤，仅对部分错误响应进行蒸馏，从而减少不必要的计算开销，提高训练效率。

技术框架：C-OPSD的整体架构包括生成响应、过滤错误响应和蒸馏三个主要模块。首先生成每个问题的响应，然后根据正确性进行过滤，最后对选定的响应进行蒸馏。

关键创新：C-OPSD的核心创新在于通过正确性过滤来优化蒸馏过程，显著减少了不必要的计算，同时保持了与完整OPSD相当的性能。

关键设计：在实验中，采用了小批量大小为四的实现方式，通过去除未选择的行，减少了约68%的执行行，并通过将保留的行打包成完整的小批量，训练时间减少了约40%。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，C-OPSD在多个模型（如Qwen3-1.7B、4B和8B）上与完整OPSD的性能相当，同时在微批量大小为四的实现中，执行行减少约68%，训练时间减少约40%，显示出显著的计算效率提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等需要高效训练的场景。通过提高蒸馏过程的计算效率，C-OPSD可以在资源受限的环境中实现更快的模型训练，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy self-distillation (OPSD) supervises student-generated trajectories with a reference-conditioned version of the same base model. We ask whether every trajectory supplies distinct supervision that warrants its distillation cost. Gradient measurements on Qwen3-1.7B at initialization reveal that correct and incorrect responses have similar individual gradient magnitudes, but incorrect responses have approximately three times the coherent gradient share. Their estimated population-mean directions also largely overlap. A signal--noise model fitted at a small group size tracks alignment at larger group sizes without refitting. Motivated by these measurements, we introduce correctness-filtered OPSD (C-OPSD), which generates one response per problem and distills only a subset of incorrect responses. Removing unselected rows before both distillation forwards avoids their teacher/student forward and student backward work. Across Qwen3-1.7B, 4B, and 8B on AIME24, AIME25, and HMMT25, C-OPSD achieves on-par performance with full OPSD. In a measured micro-batch-size-four implementation, executed rows decrease by approximately 68%, and with retained rows packed into full micro-batches, training takes about 40% less time while rollout generation remains unchanged. Together, the measurements and training results connect outcome-conditioned supervision redundancy to more compute-efficient distillation.