Accelerating Dense LLMs via L0-regularized Mixture-of-Experts

📄 arXiv: 2609.21672v1 📥 PDF

作者: Zhenyu Zhang, Jiudong Yang, Zhaowen Tao, Meng Chen

分类: cs.AI, cs.CL

发布日期: 2026-09-18

期刊: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics, 2025

💡 一句话要点

提出L0-MoE以加速密集型大语言模型的推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 混合专家 L0正则化 模型加速 动态批处理 领域感知 计算效率

📋 核心要点

  1. 现有的加速方法在提升推理速度的同时，往往会导致性能显著下降，难以满足实际应用需求。
  2. 本文提出的L0-MoE方法通过L0正则化实现了轻量级的混合专家模型，旨在加速密集型LLMs而不损失性能。
  3. 实验结果显示，L0-MoE在推理速度上较密集模型实现了最高2.5倍的加速，同时保持了竞争力的性能表现。

📝 摘要（中文）

大型语言模型（LLMs）在性能上表现优异，但推理速度慢且成本高。现有的加速方法往往导致显著的性能下降，而混合专家（MoE）模型则需要大量的计算资源。本文提出了一种轻量级的MoE方法L0-MoE，利用L0正则化来加速密集型LLMs，几乎不损失性能。我们的方法引入了领域感知的数据集策划的聚类混淆矩阵，并应用动态批处理以提高训练效率。实验表明，L0-MoE在保持竞争力性能的同时，较密集模型实现了最高2.5倍的加速，超越了现有的LLM加速基线。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理速度慢和成本高的问题。现有的加速方法往往导致性能下降，而混合专家模型则需要大量计算资源，限制了其应用。

核心思路：L0-MoE通过引入L0正则化，构建轻量级的混合专家模型，旨在在加速推理的同时，几乎不损失模型性能。该方法的设计考虑了计算效率与模型性能之间的平衡。

技术框架：L0-MoE的整体架构包括数据集策划、模型训练和推理三个主要模块。数据集策划使用聚类混淆矩阵进行领域感知的样本选择，训练阶段则应用动态批处理以提高训练效率。

关键创新：L0-MoE的主要创新在于使用L0正则化来优化混合专家模型的结构，显著减少计算资源的需求，同时保持模型的性能。这一设计与传统的MoE方法形成鲜明对比。

关键设计：在L0-MoE中，关键的参数设置包括L0正则化的强度、动态批处理的策略以及聚类混淆矩阵的构建方式。这些设计细节确保了模型在加速推理的同时，能够有效地保持性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，L0-MoE在推理速度上较密集模型实现了最高2.5倍的加速，同时在性能上保持了与现有基线的竞争力。这一显著提升展示了L0-MoE在加速大型语言模型方面的有效性和实用性。

🎯 应用场景

L0-MoE方法具有广泛的应用潜力，特别是在需要快速响应的自然语言处理任务中，如实时对话系统、在线翻译和智能客服等。其高效的推理能力能够显著提升用户体验，并降低计算成本，推动大语言模型在实际应用中的普及与发展。

📄 摘要（原文）

Large language models (LLMs) achieve strong performance but suffer from slow and costly inference. Existing acceleration methods often lead to noticeable performance degradation, while Mixture-of-Experts (MoE) models require extensive computational resources. In this paper, we propose L0-MoE, a lightweight MoE approach using L0-regularization to accelerate dense LLMs nearly without performance loss. Our method introduces a cluster confusion matrix for domain-aware dataset curation and applies dynamic batching for efficient training. Experiments show that L0-MoE achieves up to 2.5x speedup over dense models while maintaining competitive performance, outperforming existing LLM acceleration baselines.