Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading

📄 arXiv: 2502.05370v2 📥 PDF

作者: Hanfei Yu, Xingqi Cui, Hong Zhang, Hao Wang, Hao Wang

分类: cs.LG, cs.AI, cs.DC

发布日期: 2025-02-07 (更新: 2025-10-04)

💡 一句话要点

FineMoE：通过细粒度专家卸载优化MoE-LLM推理的延迟-内存权衡

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 大语言模型 模型推理 专家卸载 低延迟 内存效率 细粒度优化

📋 核心要点

  1. MoE模型推理面临内存效率挑战，现有卸载方法存在延迟高或内存占用大的问题。
  2. FineMoE通过提取细粒度专家选择模式和语义提示，指导专家预取、缓存和卸载决策。
  3. 实验表明，FineMoE在降低推理延迟和提高专家命中率方面优于现有技术。

📝 摘要（中文）

大型语言模型（LLM）在内容生成、搜索推荐和AI辅助操作等领域取得了巨大成功。为了降低高昂的训练成本，混合专家（MoE）架构已成为现代LLM的热门骨干。然而，尽管MoE具有优势，但基于MoE的LLM服务由于稀疏激活的专家而面临严重的内存效率问题。最近的研究提出将非活跃专家从GPU内存卸载到CPU内存，以提高MoE模型的服务效率。然而，由于粗粒度的设计，它们要么导致高推理延迟，要么导致高模型内存占用。为了解决MoE服务中的延迟-内存权衡问题，我们提出了FineMoE，一种用于MoE服务的细粒度专家卸载系统，该系统以内存效率实现低推理延迟。我们设计FineMoE来提取MoE模型中的细粒度专家选择模式和输入提示中的语义提示，以有效地指导专家预取、缓存和卸载决策。FineMoE在HuggingFace Transformers之上进行了原型设计，并部署在六GPU测试平台上。使用开源MoE模型和真实工作负载进行的实验表明，与最先进的解决方案相比，FineMoE将推理延迟降低了47%，并将专家命中率提高了39%。

🔬 方法详解

问题定义：MoE-based LLM serving面临着严重的内存效率问题，因为只有部分专家会被激活。现有方法通过将不活跃的专家从GPU内存卸载到CPU内存来解决这个问题，但是粗粒度的卸载策略要么导致较高的推理延迟（因为需要频繁地在GPU和CPU之间传输数据），要么导致较高的内存占用（因为无法精确地判断哪些专家是不活跃的）。

核心思路：FineMoE的核心思路是利用MoE模型本身的专家选择模式和输入prompt的语义信息，来更精确地预测哪些专家在接下来会被激活，从而实现细粒度的专家卸载、预取和缓存。通过这种方式，FineMoE可以在保证较低推理延迟的同时，最大限度地减少GPU内存占用。

技术框架：FineMoE构建于HuggingFace Transformers之上，主要包含以下几个模块：专家选择模式提取模块，用于分析MoE模型中专家被选择的模式；语义提示提取模块，用于从输入prompt中提取语义信息；专家预取模块，根据提取的模式和提示，提前将可能被激活的专家加载到GPU内存；专家缓存模块，用于管理GPU内存中的专家，并根据一定的策略进行缓存和替换；专家卸载模块，将不活跃的专家从GPU内存卸载到CPU内存。

关键创新：FineMoE的关键创新在于其细粒度的专家卸载策略。与现有方法相比，FineMoE不仅考虑了专家的活跃程度，还考虑了专家之间的依赖关系和输入prompt的语义信息，从而可以更准确地预测哪些专家在接下来会被激活。这种细粒度的策略可以显著降低推理延迟，并提高内存利用率。

关键设计：FineMoE使用了一种基于历史信息的专家选择模式提取方法，该方法记录了每个专家在过去一段时间内的激活情况，并根据这些信息来预测该专家在未来被激活的可能性。此外，FineMoE还使用了一种基于语义相似度的语义提示提取方法，该方法将输入prompt映射到一个语义向量空间，并根据该向量与各个专家的语义向量之间的相似度来预测该专家被激活的可能性。专家预取、缓存和卸载策略则基于这些预测结果进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FineMoE在六GPU测试平台上，使用开源MoE模型和真实工作负载进行测试，与最先进的解决方案相比，FineMoE将推理延迟降低了47%，并将专家命中率提高了39%。这些数据表明FineMoE在优化MoE-LLM推理的延迟-内存权衡方面具有显著优势。

🎯 应用场景

FineMoE可应用于各种需要高效推理MoE-based LLM的场景，例如在线对话系统、智能客服、内容生成平台等。通过降低推理延迟和内存占用，FineMoE可以提高用户体验，并降低部署成本。该研究对于推动MoE-based LLM在实际应用中的普及具有重要意义。

📄 摘要（原文）

Large Language Models (LLMs) have gained immense success in revolutionizing various applications, including content generation, search and recommendation, and AI-assisted operation. To reduce high training costs, Mixture-of-Experts (MoE) architecture has become a popular backbone for modern LLMs. However, despite the benefits, serving MoE-based LLMs experience severe memory inefficiency due to sparsely activated experts. Recent studies propose to offload inactive experts from GPU memory to CPU memory to improve the serving efficiency of MoE models. However, they either incur high inference latency or high model memory footprints due to coarse-grained designs. To tame the latency-memory trade-off in MoE serving, we present FineMoE, a fine-grained expert offloading system for MoE serving that achieves low inference latency with memory efficiency. We design FineMoE to extract fine-grained expert selection patterns from MoE models and semantic hints from input prompts to efficiently guide expert prefetching, caching, and offloading decisions. FineMoE is prototyped on top of HuggingFace Transformers and deployed on a six-GPU testbed. Experiments with open-source MoE models and real-world workloads show that FineMoE reduces inference latency by 47% and improves expert hit rate by 39% over state-of-the-art solutions.