Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation

📄 arXiv: 2610.26124v1 📥 PDF

作者: Siyuan Gan, Bo Yang, Linjian Meng, Boyan Wang, Xiaolong Qi, Jing Huo, Yang Gao

分类: cs.LG, cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出Nash-MOPD以优化多教师策略蒸馏中的任务权衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多教师蒸馏 在线策略学习 样本分配 动态调度 局部博弈 机器学习优化 模型训练

📋 核心要点

  1. 现有的多教师在线策略蒸馏方法在样本分配上存在不足，可能导致对进展较慢的领域训练不足。
  2. Nash-MOPD通过局部最小极大博弈动态调整样本分配，确保对所有领域的训练更加灵活和均衡。
  3. 实验结果显示，Nash-MOPD在多个任务上超越了基线方法，尤其在数学和代码准确性指标上表现最佳。

📝 摘要（中文）

多教师在线策略蒸馏（MOPD）将多个领域专家教师的能力聚合到单一学生模型中。然而，MOPD中的所有领域共享学生有限的优化步骤和回合预算。现有方法如固定比例和D$^3$-MOPD在域样本分配上存在不足，可能导致对进展较慢的领域训练不足。为了解决这一问题，本文提出了Nash-MOPD，一种基于局部最小极大博弈的自适应域调度器，利用现有的反向KL统计数据来动态调整样本分配。实验结果表明，Nash-MOPD在多个指标上超越了基线方法，尤其在数学和代码准确性上表现优异。

🔬 方法详解

问题定义：本文旨在解决多教师在线策略蒸馏中样本分配不均的问题。现有方法如固定比例和D$^3$-MOPD在训练进展较慢的领域时，可能会导致样本分配不足，从而影响模型性能。

核心思路：Nash-MOPD的核心思想是通过局部最小极大博弈来动态调整样本分配，使得每个领域都能获得足够的训练样本，尤其是那些进展较慢的领域。这样的设计能够更好地响应学习进度的变化，提升整体模型的性能。

技术框架：Nash-MOPD的整体架构包括多个模块：首先，利用反向KL散度统计数据评估各领域的学习进展；其次，基于这些统计数据进行样本分配的动态调整；最后，通过优化算法实现模型的训练和更新。

关键创新：Nash-MOPD的主要创新在于引入了局部最小极大博弈的思想，使得样本分配更加灵活和自适应。这与现有方法的固定比例分配或基于最近进展的调整方式有本质区别。

关键设计：在参数设置上，Nash-MOPD使用了反向KL散度作为样本分配的依据，并设计了相应的损失函数来优化模型性能。此外，网络结构上保持了与MOPD一致，以便于在现有框架上进行改进。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，Nash-MOPD在DeepSeek-R1-Distill-Qwen-1.5B上超越了所有基线方法的最终数学和代码检查点分数，并在Qwen3-8B-Base上达到了固定方法的水平。此外，Nash-MOPD在九个报告指标中领先八个，并在所有六个数学和代码准确性指标上表现最佳或并列最佳。

🎯 应用场景

Nash-MOPD的研究成果在多个领域具有潜在应用价值，特别是在需要整合多领域知识的任务中，如自然语言处理、计算机视觉和机器人控制等。通过优化样本分配，该方法可以提升模型的学习效率和准确性，促进多任务学习的发展。未来，Nash-MOPD有望在更复杂的场景中应用，进一步推动智能系统的性能提升。

📄 摘要（原文）

Multi-teacher on-policy distillation (MOPD) aggregates the capabilities of multiple domain-expert teachers into a single student model. However, all domains in MOPD share the student's finite budget of optimization steps and rollouts. Fixed uses constant domain sampling ratios based on corpus sizes; by contrast, D$^3$-MOPD adjusts the ratios using the teacher-student reverse-KL divergence and its recent decrease. However, favoring large recent decreases can direct more training toward domains that already improve quickly, while domains that improve more slowly may receive too few examples. To address inflexible allocation and the risk of giving insufficient training to domains that improve more slowly, we propose Nash-MOPD, an adaptive domain scheduler based on a local minimax game using existing reverse-KL statistics. The equilibrium maximizes the smallest predicted proportional reduction under the local model and gives more prompts to domains that need more examples for comparable improvement. Consequently, Nash-MOPD responds to changing learning progress and supports domains that improve more slowly without extra teacher queries or rollouts. At step 100, Nash-MOPD exceeds both baselines' final mathematics and code checkpoint scores on DeepSeek-R1-Distill-Qwen-1.5B and reaches Fixed's on Qwen3-8B-Base. Furthermore, it leads eight of nine reported metrics and is best or tied best on all six mathematics and code accuracy metrics, respectively.