A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation

📄 arXiv: 2610.23185v1 📥 PDF

作者: Haoyu Chen, Jun Bai, Yang Liu, Jianfei Zhang, Wenge Rong

分类: cs.LG, cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出MoEvolve框架以增强MoE模型的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 混合专家 强化学习 双向蒸馏 模型增强 自然语言处理

📋 核心要点

  1. 现有的强化学习方法在稀疏奖励的情况下难以提供有效的监督，导致模型性能受限。
  2. 论文提出的MoEvolve框架通过双向蒸馏策略，利用MoE架构内部的潜在专家能力来增强模型。
  3. 实验结果显示，MoEvolve在多个基准上显著提升了模型性能，尤其是在低预算配置下的表现超越了激活扩展的教师模型。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）显著提升了混合专家（MoE）大语言模型的表现，但其结果级奖励提供的监督稀疏。论文提出的MoEvolve框架通过双向蒸馏策略，首先恢复激活扩展的高-$k$模型，然后利用其额外的活跃能力进一步增强模型，最后将增强能力反向转移至原始低-$k$配置。实验结果表明，MoEvolve在多个MoE模型和基准测试中，提升了初始模型的表现，最高可达22.2的领域平均分，并且超越了同预算的RLVR基线，提升幅度最高为6.5分。值得注意的是，最终的低-$k$模型往往超越其激活扩展的教师模型。

🔬 方法详解

问题定义：论文要解决的问题是如何在稀疏奖励的情况下有效地提升混合专家（MoE）模型的性能。现有的强化学习方法提供的监督稀疏，导致模型难以充分利用其潜在能力。

核心思路：论文的核心解决思路是通过MoE架构本身的潜在专家能力，提出双向蒸馏策略来增强模型性能。具体而言，首先恢复激活扩展的高-$k$模型，然后利用其额外的活跃能力进行增强，最后将这些增强能力反向转移至原始低-$k$配置。

技术框架：整体架构分为两个主要阶段：第一阶段是恢复高-$k$模型并进行增强，第二阶段是将增强后的能力转移回低-$k$配置。每个阶段都包含多个子模块，以确保信息的有效传递和能力的最大化利用。

关键创新：最重要的技术创新点在于提出了双向蒸馏的策略，通过激活扩展的模型来增强原始模型的能力，而不是单纯依赖外部教师模型。这种方法有效利用了MoE架构的内部资源。

关键设计：在设计上，论文对激活预算进行了精细的设置，以确保在增强过程中不会导致性能下降。同时，损失函数的设计也考虑了如何平衡不同专家之间的协同工作，以优化整体性能。具体的网络结构和参数设置在实验中进行了详细的调优。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MoEvolve在多个MoE模型和基准测试中，初始模型的性能提升最高可达22.2的领域平均分，且在同预算的RLVR基线中超越了6.5分。这表明该方法在资源利用和模型性能提升方面具有显著优势。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理、对话系统和推荐系统等领域。通过提升MoE模型的性能，可以在更复杂的任务中实现更高的准确性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) has substantially improved Mixture-of-Experts (MoE) LLMs, but its outcome-level rewards provide only sparse supervision. On-Policy Distillation offers dense token-level feedback, yet requires a stronger compatible teacher, while on-policy self-distillation relies on hand-designed privileged information. We observe that the MoE architecture itself offers a way to resolve this dilemma, as increasing the activation budget per token exposes latent expert capacity and yields a potentially stronger teacher within the model. However, naive expansion degrades performance because newly co-activated experts are not optimized to work together. We therefore propose MoEvolve, a bidirectional distillation framework following a recovery-then-improvement strategy: we first restore the activation-expanded high-$k$ model and further strengthen it by exploiting its additional active capacity, then reverse the direction of distillation to transfer the enhanced capabilities back into the original low-$k$ configuration, retaining its inference-time activation budget. Across diverse MoE models and benchmarks, MoEvolve improves the initial models by up to $22.2$ domain-average points and outperforms same-budget RLVR baselines by up to $6.5$ points. Notably, the final low-$k$ models often surpass their activation-expanded teachers.