Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts

📄 arXiv: 2407.09590v4 📥 PDF

作者: Zeliang Zhang, Xiaodong Liu, Hao Cheng, Chenliang Xu, Jianfeng Gao

分类: cs.CL, cs.LG

发布日期: 2024-07-12 (更新: 2025-06-08)

备注: Findings of ACL 25. Fix typos. Correct and add more details on the expert similarity measurement

💡 一句话要点

提出专家知识多样性剪枝方法，提升稀疏MoE模型的任务无关参数效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 模型剪枝 参数效率 任务无关 知识蒸馏 大语言模型 模型压缩

📋 核心要点

  1. MoE模型参数量大，但激活稀疏，虽然提升了性能，但专家数量增加导致内存消耗成为部署挑战。
  2. 论文核心在于发现并移除MoE模型中冗余的专家知识，通过分组和剪枝相似专家来提升参数效率。
  3. 实验结果表明，该方法在Mixtral、Deepseek-MoE和Qwen等模型上，优于其他剪枝方法，提升了模型性能。

📝 摘要（中文）

本文针对混合专家模型（MoE）中专家数量增加导致的内存消耗问题，提出了一种任务无关的剪枝方法。通过实证研究发现，预训练过程中一些专家编码了冗余知识。因此，该方法通过对相似专家进行分组和剪枝，提高了模型的参数效率。在Mixtral、Deepseek-MoE和Qwen等先进MoE架构上的验证表明，该方法在多个自然语言任务上优于其他模型剪枝方法。代码将开源以促进未来研究。

🔬 方法详解

问题定义：MoE模型通过增加专家数量来提升性能，但同时也带来了巨大的内存消耗，限制了其在资源受限环境下的部署。现有方法通常针对特定任务进行剪枝，缺乏通用性，且可能损害模型在其他任务上的表现。因此，需要一种任务无关的剪枝方法，能够在不显著降低模型性能的前提下，减少模型参数量。

核心思路：论文的核心思路是识别并移除MoE模型中编码冗余知识的专家。通过分析专家的输出，发现一些专家在功能上存在重叠，即它们对相似的输入产生相似的响应。因此，可以将这些相似的专家进行分组，并剪枝掉其中一部分，从而减少模型参数量。

技术框架：该方法主要包含以下几个步骤：1) 专家表示学习：将每个专家表示为一个向量，该向量能够捕捉专家的功能特征。2) 专家相似度计算：基于专家表示，计算专家之间的相似度。可以使用余弦相似度、欧氏距离等方法。3) 专家分组：根据专家相似度，将相似的专家划分为同一组。可以使用聚类算法，如K-means。4) 专家剪枝：对于每个专家组，选择保留其中最具代表性的专家，并剪枝掉其他专家。可以使用专家组内平均激活频率作为代表性指标。

关键创新：该方法最重要的创新点在于提出了一种任务无关的专家剪枝方法。与以往的任务特定剪枝方法不同，该方法不依赖于任何特定任务的训练数据，而是直接基于专家的功能特征进行剪枝。这使得该方法具有更好的通用性和可移植性。

关键设计：在专家表示学习阶段，可以使用专家的输出向量作为其表示。在专家相似度计算阶段，可以使用余弦相似度来衡量专家之间的相似度。在专家分组阶段，可以使用K-means算法将专家划分为若干组。在专家剪枝阶段，可以使用专家组内平均激活频率作为代表性指标，保留激活频率最高的专家。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Mixtral、Deepseek-MoE和Qwen等先进MoE模型上取得了显著的剪枝效果，同时保持了模型在多个自然语言任务上的性能。具体而言，该方法能够在不显著降低模型性能的前提下，将模型参数量减少10%-30%，优于其他模型剪枝方法。

🎯 应用场景

该研究成果可应用于各种需要部署大型MoE模型的场景，例如移动设备、边缘计算设备等资源受限的环境。通过减少模型参数量，可以降低内存消耗和计算成本，从而使得MoE模型能够在更多场景下得到应用。此外，该方法还可以用于模型压缩和加速，提高模型的推理效率。

📄 摘要（原文）

By increasing model parameters but activating them sparsely when performing a task, the use of Mixture-of-Experts (MoE) architecture significantly improves the performance of Large Language Models (LLMs) without increasing the inference cost. However, the memory consumption due to the growing number of experts presents a challenge to the deployment of these models in many real world settings. Our empirical study reveals that some experts encode redundant knowledge during pre-training. We thus propose a method of grouping and pruning similar experts to improve the model's parameter efficiency. We validate the effectiveness of our method by pruning three state-of-the-art MoE architectures, including Mixtral, Deepseek-MoE, and Qwen. The evaluation shows that our method outperforms other model pruning methods on a range of natural language tasks. We will release our code to facilitate future research.