Asynchronous On-Policy Self-Distillation

📄 arXiv: 2610.25880v1 📥 PDF

作者: Xidong Wu, Qi Qi, Yuqiong Ji, Shangqian Gao

分类: cs.LG

发布日期: 2026-10-19

💡 一句话要点

提出异步在线自蒸馏以提升训练效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线自蒸馏 异步训练 模型优化 自然语言处理 机器学习

📋 核心要点

  1. 现有的在线自蒸馏方法在训练效率上受限于同步回滚生成，导致训练时间过长。
  2. 本文提出的异步在线自蒸馏框架通过解耦回滚生成与学习者更新，显著提升训练吞吐量。
  3. 实验结果表明，AsyncOPSD在多个基准上训练吞吐量提高了1.96至2.25倍，同时提升了模型准确性。

📝 摘要（中文）

与依赖于单独教师模型的在线蒸馏（OPD）不同，在线自蒸馏（OPSD）利用单一语言模型同时作为学生和教师，教师基于特权信息进行条件化。尽管这种架构简单，但同步回滚生成导致整体训练时间过长，成为OPSD扩展时的瓶颈。为了解决这一问题，本文提出了异步在线自蒸馏（AsyncOPSD）框架，解耦回滚生成与学习者更新，从而提高训练吞吐量。由于教师和学生共享参数，AsyncOPSD消除了异步训练中OPD架构固有的多模型协调开销。随着学生策略的演变，旧策略生成的缓冲轨迹可能变得过时，从而影响性能。为此，本文引入了基于过时感知策略控制和令牌级熵加权的蒸馏目标。在三种模型规模和数学推理基准上，AsyncOPSD的训练吞吐量提高了1.96至2.25倍，同时增加了基准的平均准确性。

🔬 方法详解

问题定义：本文旨在解决在线自蒸馏（OPSD）在训练过程中由于同步回滚生成导致的效率瓶颈问题。现有方法在扩展时面临显著的训练时间延迟，影响模型性能和应用。

核心思路：提出异步在线自蒸馏（AsyncOPSD）框架，通过将回滚生成与学习者更新解耦，提升训练效率。该方法利用单一模型的共享参数，消除多模型协调的开销，从而提高系统吞吐量。

技术框架：AsyncOPSD框架包括两个主要模块：回滚生成模块和学习者更新模块。回滚生成模块负责生成训练轨迹，而学习者更新模块则利用这些轨迹进行模型参数更新。通过异步处理，这两个模块可以并行工作，从而提高整体训练效率。

关键创新：最重要的创新在于引入了基于过时感知的策略控制和令牌级熵加权的蒸馏目标。这一设计有效解决了随着学生策略演变而导致的旧轨迹过时问题，确保了模型性能的稳定性。

关键设计：在损失函数设计上，本文采用了结合过时感知的蒸馏目标，并在网络结构中保持教师和学生模型参数共享。此外，针对不同模型规模进行了优化，以确保在各种条件下均能实现高效训练。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，AsyncOPSD在三种模型规模和数学推理基准上，训练吞吐量提高了1.96至2.25倍，相较于传统的同步在线自蒸馏方法，显著提升了模型的平均准确性，展示了其在效率与性能上的双重优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提升在线自蒸馏的训练效率，AsyncOPSD能够加速模型的迭代与优化，进而推动相关技术在实际应用中的落地与发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Unlike on-policy distillation (OPD), which depends on a separate teacher model, on-policy self-distillation (OPSD) leverages a single language model acting simultaneously as the student and the teacher, with the teacher conditioned on privileged information. Despite this architectural simplicity, synchronous rollout generation dominates overall training time, creating a severe systems bottleneck when scaling OPSD. To address this, we introduce Asynchronous On-Policy Self-Distillation (AsyncOPSD), a framework that decouples rollout generation from learner updates to improve training throughput. Since the teacher and student share parameters, AsyncOPSD eliminates the multi-model coordination overhead inherent to OPD architectures in asynchronous training. As the student policy evolves, buffered trajectories generated by older policies become stale, potentially degrading performance. To mitigate this, we introduce a distillation objective based on staleness-aware policy control and token-level entropy weighting. Across three model sizes and mathematical reasoning benchmarks, AsyncOPSD improves the training throughput by $1.96$--$2.25\times$ over synchronous OPSD while increasing average benchmark accuracy.