Latent Prototype Routing: Achieving Near-Perfect Load Balancing in Mixture-of-Experts

📄 arXiv: 2506.21328v1 📥 PDF

作者: Jiajie Yang

分类: cs.LG, cs.CL

发布日期: 2025-06-26

备注: 15 pages,4 figures

💡 一句话要点

提出潜在原型路由以解决混合专家模型负载不均问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 负载均衡 聚类方法 路由框架 大型语言模型

📋 核心要点

  1. 现有的混合专家模型在训练和推理过程中存在严重的负载不均衡，导致计算资源的浪费。
  2. 本文提出的潜在原型路由（LPR）框架通过聚类方法优化专家路由，旨在实现专家的平衡利用。
  3. 实验结果显示，LPR显著降低了专家负载的基尼系数，并提升了负载比，达到了近乎完美的负载平衡。

📝 摘要（中文）

混合专家（MoE）架构已成为高效扩展大型语言模型（LLM）的关键策略。然而，现有MoE系统存在严重的负载不均衡问题，导致只有少数专家在训练和推理过程中被激活，从而造成模型能力和计算资源的显著低效利用。本文通过聚类视角重新审视专家路由，提出了一种新颖的路由框架——潜在原型路由（LPR），该框架在不妨碍下游性能的情况下，促进了专家的平衡利用。通过对多个开源MoE模型（如DeepSeek-V3、Qwen3-MoE和Mixtral）的广泛实验，LPR将专家负载的基尼系数从0.70降低到0.035，最小-最大专家负载比从1e-6提升至0.70，实现了近乎完美的负载平衡。

🔬 方法详解

问题定义：本文旨在解决混合专家模型中存在的负载不均衡问题。现有方法导致只有少数专家被激活，造成计算资源的低效利用和模型能力的浪费。

核心思路：论文提出的潜在原型路由（LPR）框架通过聚类视角重新审视专家路由，旨在在不影响下游任务性能的前提下，促进专家的均衡激活和利用。

技术框架：LPR框架包括专家聚类、路由决策和负载均衡三个主要模块。首先，通过聚类方法识别潜在专家原型，然后根据输入数据动态选择激活的专家，最后通过负载均衡策略优化专家的利用率。

关键创新：LPR的核心创新在于其聚类视角的专家路由方法，与传统的基于阈值或随机选择的路由方法相比，能够更有效地平衡专家负载，显著提升了模型的整体性能。

关键设计：在LPR中，采用了新的损失函数来优化专家的负载均衡，同时设计了动态路由机制，以确保在不同输入条件下能够灵活选择合适的专家进行激活。

📊 实验亮点

实验结果表明，LPR将专家负载的基尼系数从0.70降低至0.035，最小-最大专家负载比从1e-6提升至0.70，显示出显著的负载平衡效果，接近完美的负载均衡性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等大型语言模型的开发。通过实现更高效的专家利用，LPR能够显著提升模型的性能和计算效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Mixture-of-Experts (MoE) architectures have emerged as a key strategy for scaling large language models (LLMs) efficiently. However, current MoE systems suffer from severe load imbalance, where only a small subset of experts is consistently activated during training and inference, leading to significant underutilization of model capacity and computational resources. In this work, we revisit expert routing through a clustering perspective and propose Latent Prototype Routing (LPR), a novel routing framework that generalizes existing approaches while promoting balanced expert utilization without compromising downstream performance. Extensive experiments across multiple open-source MoE models -- including DeepSeek-V3, Qwen3-MoE, and Mixtral -- demonstrate that LPR reduces the Gini coefficient of expert load from 0.70 to 0.035 on average, improves the min-max expert load ratio from 1e-6 to 0.70, achieving near-perfect load balancing.