You Only Need 2/3 of the Chosen Experts: An Empirical Study of Dynamic Expert Pruning in Fine-Grained MoE LLMs

📄 arXiv: 2609.25809v1 📥 PDF

作者: Yuanteng Chen, Qiwei Lai, Chen Tianqi, Peisong Wang, Yuantian Shao, Nanxin Zeng, Zhilei Liu, Chuangyi Li, Jing Liu, Jian Cheng

分类: cs.LG, cs.AI

发布日期: 2026-09-22

备注: 25 pages, 4 figures

💡 一句话要点

提出动态专家剪枝方法以提升细粒度MoE LLMs的推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态剪枝 混合专家 细粒度模型 推理优化 大语言模型 性能提升 专家选择 计算效率

📋 核心要点

  1. 现有的动态专家剪枝方法主要基于粗粒度架构，缺乏对细粒度MoE模型的深入研究，导致冗余利用不足。
  2. 本文通过系统的实证研究，探讨了细粒度MoE模型中专家选择的冗余性及其对剪枝方法的影响。
  3. 研究结果表明，保留三分之二的专家可实现98.8%的性能保留，并在推理速度上实现显著提升。

📝 摘要（中文）

细粒度混合专家（MoE）架构已成为开放权重大语言模型（LLMs）的主流设计，然而现有的动态专家剪枝方法主要基于粗粒度架构，缺乏针对细粒度模型的系统研究。本文通过对十二个细粒度MoE检查点的实证研究，发现每个token的专家选择存在显著冗余，保留约三分之二的专家可在平均上保留98.8%的未剪枝性能，同时在推理速度上实现1.2-1.7倍的提升。研究还表明，模型对剪枝的敏感性与模型规模和类型有关，为未来的动态分配和剪枝方法提供了重要指导。

🔬 方法详解

问题定义：本文旨在解决细粒度MoE模型中动态专家剪枝的有效性问题。现有方法未能充分利用专家选择的冗余性，导致推理效率低下。

核心思路：通过系统的实证研究，评估细粒度MoE模型中专家选择的冗余程度，并提出保留部分专家的策略以优化推理性能。

技术框架：研究涵盖十二个细粒度MoE检查点，使用了包括知识问答、数学、代码生成和一般推理在内的十一项基准测试，分析不同剪枝策略的效果。

关键创新：发现专家选择的冗余性远超预期，保留三分之二的专家可在不显著损失性能的情况下实现推理速度的显著提升。

关键设计：实验中采用了统一保留专家的基线方法，并与现有的剪枝规则进行比较，评估其在不同任务中的表现和敏感性。具体参数设置和损失函数设计未在摘要中详细说明，需参考原文。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，统一保留三分之二的专家可在平均上保留98.8%的未剪枝性能，并在推理速度上实现1.2-1.7倍的提升。即使在激进剪枝的情况下，最佳剪枝规则也能在生成任务中恢复高达3.0%的性能提升，显示出该方法的有效性和实用性。

🎯 应用场景

该研究的成果可广泛应用于大规模语言模型的推理优化，尤其是在资源受限的环境中。通过有效的动态专家剪枝，能够降低计算成本，提高推理速度，适用于实时应用场景，如智能助手和自动化客服系统。未来，研究结果也将为新一代剪枝方法的设计提供理论基础和实证支持。

📄 摘要（原文）

Fine-grained mixture-of-experts (MoE) architectures have become a mainstream design for open-weight LLMs, with hundreds of experts and increasingly many selected per token. This shift makes dynamic expert pruning an attractive route to cheaper inference. Yet existing evidence comes largely from coarser architectures and likelihood-scored multiple-choice benchmarks, leaving three central questions open in the fine-grained regime: how redundant per-token expert selection is, how effectively existing pruning methods exploit that redundancy, and what governs a model's sensitivity to pruning. We fill this gap with a systematic empirical study of twelve fine-grained MoE checkpoints spanning nine architecture families, with a core suite of eleven benchmarks covering knowledge QA, mathematics, code generation, and general reasoning. We find that expert selection is far more redundant than the field's operating points assume: uniformly retaining about two thirds of the selected experts preserves 98.8% of unpruned performance on average, requiring only a one-integer change and delivering 1.2-1.7x measured speedup across two serving backends. This simple baseline leaves little room for dynamic allocation at conservative budgets: even the best published rules differ from it by under 1% at matched expert budgets. Their value emerges under aggressive pruning, where the best rules recover up to 3.0% over uniform truncation, with gains concentrated in the generative tasks that suffer the sharpest degradation. Sensitivity to aggressive pruning also depends on the model: larger and thinking models are more resilient, whereas multimodal models are more vulnerable. Together, these findings reveal how much expert computation fine-grained MoEs can dispense with, and establish when dynamic allocation earns its complexity, informing both practical deployment and future pruning methods.