Branching On-Policy Distillation
作者: Dongyang Chen, Shudong Liu, Shubo Li, Duoxun Tang, Jinwei Liang, Zehuan Wu, Lewei Lu
分类: cs.AI
发布日期: 2026-10-09
💡 一句话要点
提出BranchOPD以解决现有OPD方法的监督覆盖不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 决策点选择 共享前缀重采样 教师监督 智能代理 算法优化
📋 核心要点
- 现有的在线蒸馏方法在监督覆盖上存在不足，单一轨迹限制了决策点的多样性。
- 本文提出BranchOPD，通过选择信息丰富的决策点和共享前缀重采样，提升了监督的有效性。
- 实验结果表明，BranchOPD在多个基准测试中显著优于传统OPD，提升了数学准确率和任务成功率。
📝 摘要（中文）
在现有的在线蒸馏（OPD）方法中，教师对学生生成的轨迹提供监督，但单一轨迹在每个决策点仅实现一种延续，限制了在有限采样预算下的监督覆盖。为此，本文提出了BranchOPD（分支在线蒸馏），通过利用学生的不确定性和教师-学生之间的分歧来选择信息丰富的决策点，从共享前缀重新采样学生策略的延续，并对主轨迹和分支应用逐token的教师监督。BranchOPD在数学问题的token级决策和代理任务的回合内决策中均表现出色。共享前缀重用使得学生生成的token成本在ALFWorld上降低了约19%，在WebShop上降低了31%。此外，本文还引入了协议边界修复（PBR），在协议约束下使用有针对性的监督以减少重复和浪费的生成。BranchOPD在所有评估基准上均优于传统OPD和多回合OPD（n=7），在16个样本答案的平均数学准确率上比传统OPD提高了18.55个百分点，在ALFWorld ID/OOD成功率上提高了13.8个百分点。
🔬 方法详解
问题定义：本文旨在解决现有在线蒸馏方法（OPD）在有限采样预算下监督覆盖不足的问题。单一轨迹在决策点的延续性限制了教师的监督效果，导致学习效率低下。
核心思路：BranchOPD通过选择不确定性高的决策点和教师与学生之间的分歧，来增强监督的覆盖范围。同时，通过共享前缀重采样，减少了学生生成的轨迹成本。
技术框架：BranchOPD的整体架构包括决策点选择模块、共享前缀重采样模块和逐token教师监督模块。决策点选择基于学生的不确定性和教师-学生的分歧，重采样则利用共享前缀来生成多条轨迹。
关键创新：最重要的创新在于引入了分支机制，允许在不确定的决策点生成多条轨迹，从而扩展后续行为的覆盖范围。这一方法显著优于随机选择和回合初始分支的传统方法。
关键设计：在设计中，采用了协议边界修复（PBR）技术，以在协议约束下提供有针对性的监督，减少生成过程中的重复和浪费。同时，损失函数和网络结构经过精心设计，以确保在不同任务中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BranchOPD在多个基准测试中均优于传统OPD和多回合OPD（n=7），在16个样本答案的平均数学准确率上提高了18.55个百分点，在ALFWorld ID/OOD成功率上提高了13.8个百分点，展现了显著的性能提升。
🎯 应用场景
BranchOPD的研究成果在多种领域具有潜在应用价值，包括智能代理、自动化决策系统和教育技术等。通过提高模型的学习效率和准确性，该方法能够在复杂任务中提供更优的决策支持，未来可能推动更智能的交互式系统的发展。
📄 摘要（原文）
On-policy distillation (OPD) provides teacher supervision on student-generated trajectories, but a single trajectory realizes only one continuation at each decision, limiting supervision coverage under a finite sampling budget. We propose BranchOPD (Branching On-Policy Distillation), which selects informative decision points using student uncertainty and teacher-student disagreement, resamples student-policy continuations from shared prefixes, and applies token-level teacher supervision to both main trajectories and branches. BranchOPD operates at token-level decisions in mathematics and within-turn decisions in agent tasks. Shared-prefix reuse reduces student-generated token costs by approximately 19% on ALFWorld and 31% on WebShop relative to seven independent trajectories. We also introduce protocol-boundary repair (PBR), which uses targeted supervision under protocol constraints to mitigate repetition and wasted generation. BranchOPD outperforms Vanilla OPD and Multi-Rollout OPD (n=7) across all evaluated benchmarks, with gains over Vanilla OPD of 18.55 percentage points in mean mathematics accuracy over 16 sampled answers (avg@16) and 13.8 points in mean ALFWorld ID/OOD success. Mechanistic analyses and selection ablations show that branching at uncertain decisions expands subsequent behavior coverage and outperforms random selection and turn-initial branching.