Higher-order pruning of experts in mixture-of-experts language models

📄 arXiv: 2609.18916v1 📥 PDF

作者: Alex M. Tseng, Prannay Kaul, Luca Zancato, Wei Xia, Stefano Soatto

分类: cs.LG, cs.AI

发布日期: 2026-09-16

💡 一句话要点

提出HOPE方法以优化混合专家语言模型的专家剪枝

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 专家剪枝 二阶优化 自然语言处理 模型压缩 机器学习 性能提升

📋 核心要点

  1. 现有的专家剪枝方法独立处理每个专家，未考虑专家之间的协作关系，导致剪枝效果不佳。
  2. HOPE方法通过引入二阶剪枝目标，考虑专家之间的交互作用，从而优化剪枝决策。
  3. 在多个基准测试中，HOPE在50%剪枝率下的表现优于所有基线方法，尤其在复杂任务上提升显著。

📝 摘要（中文）

混合专家（MoE）语言模型因其庞大的参数量而面临显著的内存瓶颈。专家剪枝是减少参数数量的直接方法，但现有方法独立地对每个专家进行剪枝决策，并假设专家的贡献是纯粹加性的。本文提出了HOPE（Higher-Order Pruning of Experts），一种二阶剪枝目标，能够有效最小化剪枝带来的误差上界。通过在多个前沿MoE模型和基准测试上进行实验，HOPE在高剪枝率和复杂任务中表现出色，显著优于现有方法。

🔬 方法详解

问题定义：本文解决混合专家语言模型中专家剪枝导致的内存瓶颈问题。现有方法在剪枝时未考虑专家之间的协作，导致剪枝效果不理想。

核心思路：HOPE方法通过引入二阶剪枝目标，考虑专家之间的交互作用，优化剪枝决策，从而在保持模型性能的同时减少参数数量。

技术框架：HOPE的整体架构包括专家选择、剪枝决策和性能评估三个主要模块。首先，通过二阶目标函数评估专家的协作效应，然后进行剪枝决策，最后在多个基准上测试模型性能。

关键创新：HOPE的主要创新在于引入了二阶剪枝目标，能够有效捕捉专家之间的协作关系，与现有的一阶剪枝方法（如REAP）相比，显著提升了剪枝效果。

关键设计：在损失函数设计上，HOPE考虑了专家之间的交互项，优化了剪枝决策的准确性。同时，实验中使用了多种基准测试，以验证HOPE在不同条件下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个前沿MoE模型中，HOPE在50%剪枝率下的平均排名为1.58，显著优于第二名REAP的2.42。此外，在复杂的编码任务中，HOPE的性能提升达到了+6.1%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过优化混合专家模型的剪枝策略，HOPE能够在保持高性能的同时，显著降低模型的内存占用，为大规模语言模型的实际应用提供了更高的效率和可行性。

📄 摘要（原文）

Mixture-of-Experts (MoE) language models suffer from large parameter counts, which create a significant memory bottleneck. Expert pruning is the most direct approach for reducing this parameter count, yet existing methods make pruning decisions for each expert independently, and assume experts' contributions are purely additive. In reality, expert usage in MoEs is inherently cooperative. We derive HOPE (Higher-Order Pruning of Experts), a second-order pruning objective which provably minimizes an upper bound on the error resulting from pruning. We show that REAP (a state-of-the-art first-order pruning method) is a special case of HOPE where interaction terms are ignored. Across three frontier MoE models (up to 122B parameters), two distinct calibration sets, and multiple benchmarks (including math, instruction following, coding, and an agentic suite), we demonstrate that HOPE produces better pruning decisions than existing methods, and its advantage is most pronounced at high pruning rates and on challenging agentic workloads. At 50% pruning, HOPE outperforms all baselines and achieves an average rank of 1.58 out of 5 methods (versus 2.42 for the next-best method, REAP), with gains of up to +6.1% on agentic coding. Over all conditions, HOPE again achieves the best average rank and surpasses every other method in the majority of head-to-head comparisons. By preserving cooperative expert structure that first-order methods ignore, HOPE enables aggressive compression with minimal degradation, particularly on complex tasks where diverse expert combinations are invoked over long sequences.