CLOOPD: Closing the Learner Loop in On-Policy Distillation
作者: Keye Zheng, Hanyu Li, Zhan Cheng, Yuan Gao
分类: cs.LG
发布日期: 2026-09-21
💡 一句话要点
提出CLOOPD框架以优化在线策略蒸馏过程
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线策略蒸馏 教师信号 自适应学习 资源优化 强化学习
📋 核心要点
- 现有的在线策略蒸馏方法在每个新批次中需要双重计算，导致效率低下。
- CLOOPD框架通过将教师信号获取与学生实现分开，优化了蒸馏过程，提高了资源利用率。
- 实验结果显示，CLOOPD-Fixed3在使用67.2%更少的教师评分令牌的情况下，准确率几乎与300步的TOP-D相当。
📝 摘要（中文）
在线策略蒸馏（OPD）在每个新批次中付出双重代价：学生生成轨迹，教师对其进行评分。现有方法主要集中在改进评分轨迹和教师信号构建，但通常只进行一次演员更新。本文提出CLOOPD，一个闭环框架，将教师信号获取与学生实现分开。CLOOPD在KL包络内选择自适应的α点，冻结评分批次及其优势，经过每次演员传递后重新前向学生，测量实现情况，并在单独的令牌预算下分配演员工作。该框架包括确定性的两次和三次传递策略、令牌定价的CLOOPD-TPMR和预算匹配控制。在六次300步的实验中，CLOOPD策略在教师令牌规模相当的情况下均提升了单次传递的TOP-D基准：CLOOPD-Fixed2的宏观准确率从15.41提升至17.78，CLOOPD-Fixed3则达到19.36。
🔬 方法详解
问题定义：本文旨在解决在线策略蒸馏（OPD）中教师信号获取与学生实现之间的效率低下问题。现有方法通常在每个新批次中进行双重计算，导致资源浪费和性能瓶颈。
核心思路：CLOOPD框架的核心思想是将教师信号的获取与学生的实现过程分开，通过自适应的α点选择和冻结评分批次来优化学习过程，从而提高学习效率和效果。
技术框架：CLOOPD框架包括多个模块：首先选择自适应的α点，然后冻结当前评分的批次和其优势，接着在每次演员传递后重新前向学生，最后根据测量结果分配演员的工作量。该框架支持两次和三次传递的策略，并引入令牌定价机制。
关键创新：CLOOPD的主要创新在于其闭环设计，允许在教师信号获取和学生实现之间进行更灵活的资源分配。这种设计与传统方法的单次更新模式形成鲜明对比，显著提高了学习效率。
关键设计：在CLOOPD中，关键参数包括自适应的α选择和令牌预算控制。损失函数设计上，强调了教师信号的有效利用，确保学生在学习过程中能够最大化地吸收教师的指导信息。整体架构支持多次传递，增强了模型的学习能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CLOOPD-Fixed2的宏观准确率从15.41提升至17.78，而CLOOPD-Fixed3则达到了19.36，几乎与300步的TOP-D相当。同时，CLOOPD-Fixed3在使用67.2%更少的教师评分令牌和28.0%更少的GPU小时的情况下，展现了显著的资源节约。
🎯 应用场景
CLOOPD框架在强化学习和策略蒸馏领域具有广泛的应用潜力，尤其适用于需要高效学习和资源优化的场景，如机器人控制、自动驾驶和智能决策系统。通过优化教师信号的利用，该方法能够显著提升模型的学习效率和性能，推动相关领域的研究与应用发展。
📄 摘要（原文）
On-policy distillation (OPD) pays twice for each fresh batch: the student generates trajectories and a stronger teacher scores them. Existing methods improve which trajectories are scored and how the teacher signal is constructed, but usually consume it with one actor update. We introduce CLOOPD, a closed-loop framework separating teacher-signal acquisition from student-side realization. CLOOPD selects an adaptive $α$ waypoint inside a KL envelope, freezes the scored batch and its advantages, re-forwards the student after each actor pass, measures realization, and allocates actor work under a separate token budget. The framework includes deterministic two- and three-pass policies, token-priced CLOOPD-TPMR, and a budget-matched control. Across six 300-step runs on an 8-H20 node, every CLOOPD policy improves the one-pass TOP-D anchor at comparable teacher-token scale: macro accuracy rises from 15.41 to 17.78 with CLOOPD-Fixed2 and 19.36 with CLOOPD-Fixed3. At step 100, CLOOPD-Fixed3 reaches 15.35, nearly matching TOP-D at step 300 while using 67.2% fewer teacher-scored tokens and 28.0% fewer GPU-hours. Earlier 8-A100 ablations show adaptive $α$ eliminates observed trust-envelope violations; a third pass adds headroom. These results position CLOOPD as a framework for budgeting how fully students learn from teacher-scored tokens.