Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression

📄 arXiv: 2610.09342v1 📥 PDF

作者: Tianxiao Cao, Jiahe Shao, Yuning Qiu, Kyohei Atarashi, Hisashi Kashima, Qibin Zhao

分类: cs.LG, cs.AI

发布日期: 2026-10-07

备注: Accepted to Findings of EMNLP 2026

💡 一句话要点

提出共享低秩基因分解以解决数据无关的MoE压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家 模型压缩 低秩分解 权重重构 深度学习

📋 核心要点

  1. 现有的MoE压缩方法如专家剪枝和合并存在非消失误差，影响模型性能。
  2. 提出的SLBF方法通过共享低秩基因实现数据无关的权重重构，增强了专家间的共享能力。
  3. 在多种MoE架构上，SLBF在压缩效果上显著优于现有的三种压缩方法，表现出更低的重构误差。

📝 摘要（中文）

混合专家（MoE）大语言模型通过稀疏路由将计算能力与容量解耦，但其庞大的参数量带来了存储和服务的挑战。本文分析了三种MoE压缩方法：专家剪枝、专家合并和权重重构，并推导出结构误差界限，表明剪枝和合并可能会引入与路由和专家异质性相关的非消失误差。相比之下，权重重构通过保留专家结构和路由来避免这些结构成本。基于此分析，本文提出了共享低秩基因分解（SLBF），这是一种数据无关的权重重构方法，利用在专家之间共享的秩-$k$ 基础，促进了跨专家的共享，加快了收敛速度，并降低了重构误差。在不损失表示能力的情况下，后期的参数修正去除了冗余参数。在涵盖16B到122B参数的五种MoE架构中，SLBF始终优于三种压缩方法。

🔬 方法详解

问题定义：本文旨在解决混合专家模型在压缩过程中面临的存储和服务挑战，尤其是现有方法如专家剪枝和合并引入的非消失误差问题。

核心思路：提出共享低秩基因分解（SLBF），通过在不同专家之间共享低秩基，避免了结构性误差，同时实现了数据无关的权重重构。

技术框架：SLBF方法包括专家权重的低秩分解、跨专家的共享机制和后期的参数修正。整体流程为：首先进行权重重构，然后通过共享低秩基因实现专家间的高效信息传递，最后进行冗余参数的去除。

关键创新：SLBF的主要创新在于其通过共享低秩基因来实现跨专家的有效信息共享，显著降低了重构误差，并且与传统的剪枝和合并方法相比，避免了结构性误差的引入。

关键设计：SLBF采用的秩-$k$ 基础设计允许在多个专家之间共享参数，优化了模型的收敛速度和表现，同时后期的参数修正步骤确保了模型的表示能力不受损失。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，SLBF在五种不同的MoE架构上均表现出色，参数范围从16B到122B，均优于专家剪枝、合并和权重重构等三种压缩方法，重构误差显著降低，收敛速度加快，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的压缩和优化，尤其是在资源受限的环境中，如移动设备和边缘计算。通过有效降低模型的存储需求和提高推理速度，SLBF方法可以在实际应用中提升用户体验，推动AI技术的普及与应用。

📄 摘要（原文）

Mixture-of-Experts (MoE) large language models decouple capacity from compute through sparse routing, but their large parameter count creates storage and serving challenges. We analyze three MoE compression families: expert pruning, expert merging, and weight reconstruction, and derive structural error bounds showing that pruning and merging can incur non-vanishing errors tied to routing and expert heterogeneity. In contrast, weight reconstruction avoids these structural costs by preserving expert structure and routing. Motivated by the analysis, we propose Shared Low-rank Basis Factorization (SLBF), a data-free weight reconstruction method that uses rank-$k$ bases shared among experts, enabling richer cross-expert sharing, faster convergence, and lower reconstruction error. A post-hoc gauge fixing removes redundant parameters at no representational cost. Across five MoE architectures spanning 16B to 122B parameters, SLBF consistently outperforms methods from all three compression families.