CIPHER-MoE: Balancing Efficiency and Routing Fidelity in Trillion-Scale MoE Training

📄 arXiv: 2610.05744v1 📥 PDF

作者: Jing Li, Jian Meng, Yingmeng Gao, Suming Qiu, Linyuan Qiu, Dongfang Li, Baotian Hu, Binfan Zheng, Rongqian Zhao, Weijian Sun, Xin Chen

分类: cs.LG, cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出CIPHER-MoE以解决大规模MoE训练中的负载不均问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家 大规模模型 训练效率 负载均衡 自然语言处理 机器学习

📋 核心要点

  1. 现有的MoE训练方法在处理大规模模型时面临工作负载不均的问题，导致训练效率低下。
  2. CIPHER-MoE通过亲和性感知的专家-令牌过滤和容量控制，优化了专家的工作负载分配。
  3. 实验结果表明，CIPHER-MoE在DeepSeek-V4-Pro模型上实现了高达64.9%的工作负载减少和1.10至1.94倍的训练加速。

📝 摘要（中文）

混合专家（MoE）在最近的大型语言模型（LLM）架构中得到了广泛应用。然而，在LLM训练中扩展MoE会引发系统级挑战，尤其是非均匀的令牌路由会导致专家和设备之间的工作负载严重不平衡，进而影响训练效率。CIPHER-MoE通过亲和性感知的专家-令牌过滤和明确的容量控制，减少热点专家的工作负载，而无需额外的硬件资源或复杂的运行时设计。该方法在大规模MoE模型上进行了评估，显示出高达64.9个百分点的Top-1专家工作负载减少和1.10至1.94倍的训练加速，同时保持了训练质量。

🔬 方法详解

问题定义：论文要解决的具体问题是大规模MoE训练中的工作负载不均衡，现有方法往往导致某些专家过载，而其他专家则处于闲置状态，影响训练效率和硬件利用率。

核心思路：CIPHER-MoE的核心思路是通过亲和性感知的专家-令牌过滤和明确的容量控制，优化令牌的路由过程，从而减少热点专家的工作负载，而不需要额外的硬件资源或复杂的设计。

技术框架：CIPHER-MoE的整体架构包括专家-令牌过滤模块和容量控制机制。首先，通过分析令牌与专家的亲和性，选择合适的专家进行处理；其次，控制每个专家的最大处理能力，以避免过载。

关键创新：CIPHER-MoE的主要创新在于其亲和性感知的过滤机制和容量控制，这与传统方法相比，显著降低了对资源的需求，同时保持了训练的稳定性和效率。

关键设计：在设计上，CIPHER-MoE采用了明确的容量控制参数，以确保每个专家的工作负载在可控范围内。此外，损失函数和网络结构经过优化，以适应大规模模型的训练需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CIPHER-MoE在DeepSeek-V4-Pro模型上实现了高达64.9个百分点的Top-1专家工作负载减少，训练加速效果在1.10至1.94倍之间，显著提升了训练效率，同时保持了模型的训练质量。

🎯 应用场景

CIPHER-MoE的研究成果具有广泛的应用潜力，尤其是在需要处理大规模数据的自然语言处理和机器学习领域。通过优化MoE训练过程，该方法可以提高模型的训练效率和资源利用率，推动更大规模模型的开发与应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Mixture-of-Experts (MoE) has been widely adopted in recent large language model (LLM) architectures. However, scaling up MoE in LLM training introduces system-level challenges on training, where non-uniform token routing can lead to highly imbalanced workloads across experts and devices, further destabilizing the training process. With trillion-scale LLMs, imbalanced expert workloads further amplify the resource cost of MoE training, resulting in degraded training efficiency and hardware utilization for underloaded experts, while hot experts require additional resources to accommodate excessive workloads. Recent studies address imbalanced MoE training through intricate parallelism strategies or resource reallocation. However, these system-level approaches often introduce additional resource requirements and considerable orchestration complexity, which become increasingly difficult to afford when training trillion-parameter LLMs under constrained computational resources. This work introduces CIPHER-MoE, which mitigates MoE workload imbalance while keeping the router's token-side Top-K selection unchanged. CIPHER-MoE applies affinity-aware Expert-to-Token filtering with explicit capacity control to reduce hotspot expert workloads without additional hardware resources or complex runtime design. The proposed method has been evaluated on large-scale MoE models, including DeepSeek-V4-Pro, showing up to 64.9 percentage points Top-1 expert workload reduction and 1.10$\times$-1.94$\times$ training acceleration, while preserving the training quality. The source code will be released soon.