MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation
作者: Zipeng Wang, Xinpeng Dong, Yuefan Wang, Pingchen Lu, Xian Wei, Kun Kuang, Fei Wu, Zhongxiang Dai, Min Zhang
分类: cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出MetaOPD以解决现有蒸馏方法的权重分配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 基于策略的蒸馏 令牌加权 双层优化 动态学习 自然语言处理
📋 核心要点
- 现有的基于策略的蒸馏方法在令牌加权上采用统一策略，未能有效利用不同令牌的学习价值差异。
- MetaOPD通过双层优化框架，联合学习学生模型和令牌加权网络，动态调整令牌权重以适应学习需求。
- 在六个数学推理和三个领域外数据集上，MetaOPD显著提升了学生模型的性能，验证了其有效性。
📝 摘要（中文）
在本论文中，作者提出了一种名为MetaOPD的双层优化框架，旨在改进现有的基于策略的蒸馏方法（OPD）。现有方法在进行令牌级教师监督时，采用统一权重，忽视了不同令牌的学习价值差异。此外，现有的加权方法依赖于预定义的映射关系，无法根据学生模型的更新效果进行自适应调整。MetaOPD通过联合学习学生模型和轻量级令牌加权网络，优化了这一过程。实验结果表明，MetaOPD在多个数学推理和领域外数据集上均表现出色，相较于OPD，0.6B学生模型的Avg@8/Pass@8提升了1.99/5.97个百分点，1.7B学生模型则提升了2.25/6.41个百分点。
🔬 方法详解
问题定义：本论文旨在解决现有基于策略的蒸馏方法（OPD）在令牌加权上的不足，现有方法未能考虑不同令牌的学习价值，导致学习效果受限。
核心思路：MetaOPD提出了一种双层优化框架，通过联合学习学生模型和轻量级令牌加权网络，使得令牌权重能够根据学生模型的更新效果进行自适应调整，从而提升学习效率。
技术框架：该框架分为内层和外层两个目标，内层通过加权的OPD更新学生模型，外层则利用验证损失优化令牌加权网络。通过这种方式，权重决策与更新后的性能效果相连接。
关键创新：MetaOPD的核心创新在于其动态学习的令牌加权机制，区别于传统方法的静态映射关系，使得权重能够随着学生模型的学习进程而演变。
关键设计：在设计中，采用了轻量级的令牌加权网络，并通过验证损失进行优化，确保权重分配能够实时反映学生模型的学习效果。
🖼️ 关键图片
📊 实验亮点
在实验中，MetaOPD在六个数学推理和三个领域外数据集上表现优异，0.6B学生模型的Avg@8和Pass@8分别提升了1.99和5.97个百分点，而1.7B学生模型则分别提升了2.25和6.41个百分点，显示出显著的性能改进。
🎯 应用场景
MetaOPD的研究成果在自然语言处理、机器翻译和智能问答等领域具有广泛的应用潜力。通过提升学生模型的学习效率，能够更好地应对复杂任务，推动相关技术的发展与应用。
📄 摘要（原文）
On-policy distillation (OPD) trains a student on its own generated responses using token-level teacher supervision. However, uniform weighting overlooks differences in token learning value, while existing weighting methods rely on predefined mappings from prediction signals to token weights. These mappings are not learned from the effectiveness of the resulting student updates, limiting their ability to adapt to evolving learning needs. In this paper, we propose MetaOPD, a bilevel optimization framework that jointly learns the student model and a lightweight token-weighting network. The inner objective updates the student through weighted OPD, while the outer objective optimizes the weighting network using validation loss on reference solutions after a virtual student update. Differentiating through this update connects weighting decisions to their effects on post-update performance, allowing the mapping from prediction signals to token weights to evolve alongside the student. Experiments on six mathematical reasoning and three out-of-domain datasets, covering two student scales and seven baselines, demonstrate the effectiveness of MetaOPD, with Avg@8/Pass@8 gains over OPD of 1.99/5.97 percentage points for the 0.6B student and 2.25/6.41 points for the 1.7B student.