A Closer Look into Mixture-of-Experts in Large Language Models

📄 arXiv: 2406.18219v3 📥 PDF

作者: Ka Man Lo, Zeyu Huang, Zihan Qiu, Zili Wang, Jie Fu

分类: cs.CL, cs.LG

发布日期: 2024-06-26 (更新: 2025-06-21)

备注: NAACL 2025 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

深入研究大型语言模型中的混合专家（MoE）机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 大型语言模型 模型分析 路由器设计 专家分配 模型模块化 神经元激活 专家多样性

📋 核心要点

  1. 现有MoE模型的内部机制和模块化程度仍有待深入探索，限制了其进一步优化和应用。
  2. 通过分析MoE模型的参数和行为特征，揭示神经元、路由器和层级结构在MoE中的作用。
  3. 实验观察到神经元作为细粒度专家、路由器偏好大输出范数专家以及层级专家多样性的变化趋势。

📝 摘要（中文）

混合专家（MoE）架构因其独特的属性和卓越的性能而备受关注，尤其是在语言任务中。通过为每个token稀疏地激活参数子集，MoE架构可以在不牺牲计算效率的情况下增加模型大小，从而在性能和训练成本之间实现更好的权衡。然而，MoE的底层机制仍缺乏进一步的探索，其模块化程度仍有疑问。本文初步尝试理解基于MoE的大型语言模型的内部工作原理。具体而言，我们全面研究了三种流行的基于MoE的模型的参数和行为特征，并揭示了一些有趣的观察结果，包括：1）神经元充当细粒度的专家；2）MoE的路由器通常选择具有较大输出范数的专家；3）专家多样性随着层数的增加而增加，而最后一层是一个异常值，这通过初步实验得到了进一步验证。基于这些观察结果，我们还为广泛的MoE从业者提供了建议，例如路由器设计和专家分配。我们希望这项工作能够为MoE框架和其他模块化架构的未来研究提供启示。

🔬 方法详解

问题定义：论文旨在深入理解大型语言模型中混合专家（MoE）的内部工作机制。现有方法缺乏对MoE模型参数和行为特征的全面分析，导致对其模块化程度和专家选择策略的理解不足。这阻碍了MoE模型的进一步优化和高效应用。

核心思路：论文的核心思路是通过对现有MoE模型的参数和行为进行深入分析，揭示其内部工作原理。具体来说，研究关注神经元在MoE中的角色、路由器的专家选择策略以及不同层级之间的专家多样性变化。通过这些分析，旨在为MoE模型的设计和应用提供更深入的理解和指导。

技术框架：论文的研究框架主要包括以下几个步骤：1) 选择三种流行的基于MoE的大型语言模型作为研究对象；2) 分析这些模型的参数特征，例如神经元的激活模式和输出范数；3) 研究路由器的专家选择行为，例如选择具有较大输出范数的专家的倾向；4) 考察不同层级之间的专家多样性变化，特别是最后一层的异常行为；5) 基于观察结果，为MoE从业者提供路由器设计和专家分配等方面的建议。

关键创新：论文的关键创新在于对MoE模型进行了细粒度的参数和行为分析，揭示了神经元作为细粒度专家、路由器偏好大输出范数专家以及层级专家多样性变化等有趣的现象。这些发现为理解MoE模型的内部工作机制提供了新的视角。

关键设计：论文的关键设计包括：1) 选择具有代表性的MoE模型进行分析；2) 设计合适的指标来衡量神经元的激活模式、输出范数和专家多样性；3) 采用统计分析方法来揭示路由器的专家选择策略；4) 通过实验验证观察结果，并提供相应的建议。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现神经元在MoE中扮演细粒度专家的角色，MoE的路由器倾向于选择具有较大输出范数的专家，并且专家多样性随着层数的增加而增加，但最后一层是一个例外。这些发现为理解MoE模型的内部工作机制提供了新的视角。

🎯 应用场景

该研究成果可应用于改进MoE模型的设计和训练，例如优化路由器的专家选择策略、调整专家分配方案以及提高模型的模块化程度。这有助于提升大型语言模型的性能和效率，并促进其在自然语言处理、机器翻译等领域的应用。

📄 摘要（原文）

Mixture-of-experts (MoE) is gaining increasing attention due to its unique properties and remarkable performance, especially for language tasks. By sparsely activating a subset of parameters for each token, MoE architecture could increase the model size without sacrificing computational efficiency, achieving a better trade-off between performance and training costs. However, the underlying mechanism of MoE still lacks further exploration, and its modularization degree remains questionable. In this paper, we make an initial attempt to understand the inner workings of MoE-based large language models. Concretely, we comprehensively study the parametric and behavioral features of three popular MoE-based models and reveal some intriguing observations, including 1) Neurons act like fine-grained experts; 2) The router of MoE usually selects experts with larger output norms; 3) The expert diversity increases as the layer increases, while the last layer is an outlier, which is further validated by an initial experiment. Based on the observations, we also provide suggestions for a broad spectrum of MoE practitioners, such as router design and expert allocation. We hope this work could shed light on future research on the MoE framework and other modular architectures. Code is available at https://github.com/kamanphoebe/Look-into-MoEs.