UP-MOPD: Update Projection in Multi-Teacher On-Policy Distillation
作者: Taojie Zhu, Jing Jin, Yuan Xia, Chenyang Ding, Qunshan He, Wanke Xia, Tao Sun, Yan Chen, Jian Wang, Jinjie Gu, Tao Feng
分类: cs.CV
发布日期: 2026-10-06
💡 一句话要点
提出UP-MOPD以解决多教师在线蒸馏中的梯度冲突问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多教师蒸馏 在线学习 梯度冲突 优化器更新 模型集成
📋 核心要点
- 现有的多教师在线蒸馏方法在整合不同领域知识时，梯度冲突会导致性能下降。
- UP-MOPD通过允许原始混合梯度更新优化器状态并投影违反约束的候选项，解决了梯度冲突问题。
- 实验结果显示，UP-MOPD在多个任务上显著提高了模型的准确性，尤其是在医学和通用领域的结合任务中。
📝 摘要（中文）
多教师在线蒸馏通过将不同领域的专业知识结合到单一学生模型中，但梯度冲突会阻碍这种整合。直接在普通SGD下进行梯度修正会限制参数更新，而在像AdamW这样的优化器中，动量、自适应缩放和权重衰减可能导致修正后的梯度更新反而增加领域损失。为了解决这一问题，本文提出了多教师在线蒸馏的更新投影方法（UP-MOPD）。该方法允许原始混合梯度更新优化器状态并生成候选位移，然后在提交给参数之前仅投影违反约束的候选项。实验结果表明，UP-MOPD在结合医学和通用领域的任务中，训练后期的IFEval-loose准确率比传统M-OPD提高了2.96个百分点，八项指标的平均得分为60.03，优于梯度投影的59.00和更新拒绝的59.15。
🔬 方法详解
问题定义：本文旨在解决多教师在线蒸馏中梯度冲突的问题。现有方法在整合来自不同领域的知识时，容易出现梯度冲突，导致模型性能下降。
核心思路：UP-MOPD的核心思路是允许原始混合梯度更新优化器状态并生成候选位移，然后对违反约束的候选项进行投影，以确保更新的可行性和有效性。
技术框架：UP-MOPD的整体架构包括三个主要模块：首先，计算混合梯度并更新优化器状态；其次，生成候选位移；最后，对违反约束的候选项进行投影，确保更新的有效性。
关键创新：UP-MOPD的关键创新在于引入了更新投影机制，能够在保持梯度信息的同时，避免因梯度冲突导致的性能下降。这一方法与现有的简单梯度修正方法有本质区别。
关键设计：在参数设置上，UP-MOPD使用了自适应学习率和权重衰减策略，损失函数设计上则考虑了多领域的损失平衡，以确保模型在不同领域的表现均衡。
🖼️ 关键图片
📊 实验亮点
UP-MOPD在结合医学和通用领域的任务中，训练后期的IFEval-loose准确率比传统M-OPD提高了2.96个百分点，八项指标的平均得分达到60.03，优于梯度投影的59.00和更新拒绝的59.15，展现出显著的性能提升。
🎯 应用场景
UP-MOPD在医学影像分析、自然语言处理和多模态学习等领域具有广泛的应用潜力。通过有效整合不同领域的知识，该方法能够提升模型的泛化能力和准确性，未来可能在跨领域知识迁移和多任务学习中发挥重要作用。
📄 摘要（原文）
On-policy distillation from multiple teachers combines expertise from different domains in a single student, but conflicting gradients can hinder this integration. Gradient corrections directly constrain parameter updates under plain SGD. With optimizers such as AdamW, however, momentum, adaptive scaling, and weight decay can turn a corrected gradient into an update that increases a domain loss to first order. To address this gap, we propose Update Projection for Multi-Teacher On-Policy Distillation (UP-MOPD). UP-MOPD lets the original mixed gradient update the optimizer state and generate a candidate displacement, then projects only violating candidates before they are committed to the parameters. The projection gives the unique feasible update closest to the candidate in Euclidean distance. In experiments combining medical and general domains, UP-MOPD improves IFEval-loose accuracy late in training by 2.96 points over vanilla M-OPD. It achieves an average score of 60.03 across eight metrics, compared with 59.00 for gradient projection and 59.15 for update rejection. On a public benchmark covering mathematics, code, and instruction following, it achieves the best average across six tasks (32.67), leads on LiveCodeBench v5, and ties for the best IFEval result.These results support projecting optimizer updates to reduce interference between domains.