DivOPD: Spread Wide, Look Close for Asynchronous On-Policy Distillation of Multi-turn Agents
作者: Hanyang Wang, Zeyuan Liu, Zhengyu Chen, Jingqing Ruan, Chaoxu Pang, Zhongda Su, Wulin Xie, Zhizhao Zeng, Ke Zeng, Tianxiang Zhao
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-09-28
备注: 24 pages, 9 figures, 19 tables. Code: https://github.com/HanyangWang0418-oss/DivOPD
🔗 代码/项目: GITHUB
💡 一句话要点
提出DivOPD以解决异步多回合代理的蒸馏训练问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏训练 异步训练 多回合决策 教师-学生模型 训练效率 强化学习 机器人学习
📋 核心要点
- 现有的在线蒸馏训练方法在异步多回合训练中存在回合更新不均衡的问题，导致有效经验的浪费。
- DivOPD通过在学习者侧进行批选择，优化回合的使用效率，优先选择教师与学生间不一致性大的回合进行训练。
- 实验结果表明，DivOPD在多个基准测试中显著提高了成功率，并在训练速度上相较于传统方法有明显提升。
📝 摘要（中文）
在现有的在线蒸馏训练（OPD）中，学生代理通过教师的监督在与环境的交互中进行训练。然而，在异步多回合训练中，按到达顺序进行批处理可能导致一些早期或长回合的训练主导学习者的更新，而其他有效的回合在使用前变得过时，从而浪费已生成的经验。为了解决这个问题，本文提出了DivOPD，一种简单的学习者侧批选择方法，它将固定的回合预算分散到更多的回合中，并在每个回合内优先考虑教师与学生之间累积不一致性较大的回合。通过在模拟的ALFWorld、ScienceWorld和WebShop基准上进行的六个教师-学生设置的实验，DivOPD将跨设置的平均峰值成功率从77.4提高到84.4，最后五次评估的平均成功率从71.5提高到78.6。
🔬 方法详解
问题定义：本文旨在解决异步多回合训练中在线蒸馏训练（OPD）方法的不足，尤其是由于到达顺序批处理导致的有效经验浪费问题。现有方法可能使得某些早期或长回合的训练主导更新，而其他有效回合未能得到充分利用。
核心思路：DivOPD的核心思路是通过学习者侧的批选择方法，将固定的回合预算分散到更多的回合中，并在每个回合中优先选择教师与学生之间存在较大不一致性的回合进行训练。这样设计的目的是为了提高训练的有效性，确保更多的经验被利用。
技术框架：DivOPD的整体架构包括两个主要模块：回合选择模块和教师干预模块。回合选择模块负责根据教师与学生的反馈选择合适的回合进行训练，而教师干预模块则在无进展的回合中暂时将控制权交给教师，以提高学习效率。
关键创新：DivOPD的主要创新在于其学习者侧的批选择方法，能够有效地分散训练预算并优先考虑重要回合。这一方法与传统的OPD方法相比，显著提高了训练的效率和效果。
关键设计：在DivOPD中，损失函数和优化器保持不变，选择的变化仅影响哪些学生访问的回合获得训练权重。此外，对于无进展的回合，DivOPD提供了一个可选的扩展，允许教师暂时接管控制权，以进一步提高训练效果。具体的参数设置和网络结构细节在实验中进行了验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DivOPD在六个教师-学生设置上将跨设置的平均峰值成功率从77.4提高到84.4，最后五次评估的平均成功率从71.5提高到78.6。同时，相较于传统OPD，DivOPD在训练令牌和学习者GPU时间上分别实现了1.84倍和1.87倍的几何平均加速。
🎯 应用场景
该研究的潜在应用领域包括机器人学习、游戏AI以及任何需要多回合决策的智能系统。通过提高训练效率和成功率，DivOPD能够帮助开发更智能的代理，提升其在复杂环境中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) trains student agents through teacher supervision on their own interactions with an environment. However, in asynchronous multi-turn training, arrival-order batching can allow a few early or long rollouts to dominate learner updates while other valid rollouts become stale before being used, wasting already-generated experience. To address this problem, we introduce DivOPD, a simple learner-side batch-selection method that spreads a fixed turn budget across more rollouts and, within each rollout, prioritizes turns with larger cumulative teacher-student disagreement. Turns without usable teacher feedback are excluded. The per-turn loss and optimizer remain fixed; selection only changes which student-visited turns receive training weight. For no-progress rollouts, an optional extension briefly hands control to the teacher before returning it to the student. Across six teacher-student settings on the simulated ALFWorld, ScienceWorld, and WebShop benchmarks, with 1.5B-7B students, DivOPD raises cross-setting mean peak success rate from 77.4 to 84.4 and mean success over the last five evaluations from 71.5 to 78.6. It reaches all reported setting-specific targets with geometric-mean speedups of 1.84x in training tokens and 1.87x in learner GPU time relative to vanilla OPD. Teacher intervention further raises this last-five mean to 82.4 while retaining about 1.7x learner-GPU speedup over vanilla OPD. Code will be released at https://github.com/HanyangWang0418-oss/DivOPD.