ACE: Adaptive Calibration-Free Expert Skipping for MoE-based LLMs

📄 arXiv: 2609.05228v1 📥 PDF

作者: Zukang Xu, Zhixiong Zhao, Xing Hu, Jiangyong Yu, Houji Wen, Jun Li, Zhe Jiang, Dawei Yang

分类: cs.AI

发布日期: 2026-09-04

💡 一句话要点

提出ACE框架以解决MoE模型中的冗余计算问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家 大规模语言模型 专家跳过 计算效率 无训练 无校准 模型优化

📋 核心要点

  1. 现有的MoE模型在处理token时，固定的top-k路由导致冗余计算，影响效率。
  2. ACE框架通过GSP和RCR组件，实现无训练和无校准的token自适应专家跳过，优化计算资源。
  3. 在多个MoE模型和基准测试中，ACE在50%跳过比率下，显著降低了困惑度并提高了下游任务准确率。

📝 摘要（中文）

混合专家（MoE）架构为大规模语言模型（LLMs）的扩展提供了高效的范式，但固定的top-k路由导致每个token激活相同数量的专家槽，从而造成显著的冗余计算。现有的专家跳过方法通常依赖于路由器置信度、校准数据或额外训练，因此无法可靠地估计路由专家的实际贡献。为此，本文提出了ACE，一个无训练、无校准且保留检查点的框架，用于MoE模型中的token自适应专家跳过。ACE包含两个互补组件：全球谱代理（GSP）和路由器条件细化（RCR）。实验结果表明，ACE在多个基准测试中优于现有静态和动态基线，尤其在激进的专家跳过下表现更为突出。

🔬 方法详解

问题定义：本文旨在解决MoE模型中固定top-k路由导致的冗余计算问题。现有的专家跳过方法依赖于路由器置信度或额外训练，无法准确评估专家的贡献，造成计算资源浪费。

核心思路：ACE框架通过引入GSP和RCR两个组件，提供了一种无训练、无校准的专家跳过机制。GSP估计全球变换能力，而RCR则根据路由器权重构建专家特定的方向原型，从而实现更高效的专家选择。

技术框架：ACE的整体架构包括两个主要模块：全球谱代理（GSP）和路由器条件细化（RCR）。GSP通过结合门控、上投影和下投影的方式，评估专家的整体贡献；RCR则利用中心化的路由器权重，评估专家在特定方向上的响应。

关键创新：ACE的创新在于其无训练、无校准的设计，避免了传统方法中对额外数据和训练的依赖。通过结合GSP和RCR，ACE能够在推理时动态跳过低贡献的专家，同时始终保留表现最好的专家。

关键设计：ACE的设计中，所有专家统计信息均在离线计算，推理时仅需进行表查找和轻量级标量操作，极大地提高了推理效率。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在Qwen3.6-35B-A3B模型上，ACE在50%的专家跳过比率下，WikiText-2的困惑度降低了7.96%，下游任务的平均准确率提高了4.15个百分点，显示出其在激进专家跳过下的显著优势。

🎯 应用场景

ACE框架在大规模语言模型的训练和推理中具有广泛的应用潜力，尤其适用于需要高效计算资源的场景，如实时自然语言处理、对话系统和机器翻译等。其优化的专家跳过机制能够显著提升模型的响应速度和准确性，推动智能应用的发展。

📄 摘要（原文）

Mixture-of-Experts (MoE) architectures provide an efficient paradigm for scaling large language models (LLMs), yet fixed top-k routing activates the same number of expert slots for every token, causing substantial redundant computation. Existing expert-skipping methods often rely on router confidence, calibration data, or additional training, and therefore cannot reliably estimate the actual contribution of routed experts. To this end, we propose ACE, a training-free, calibration-free, and checkpoint-preserving framework for token-adaptive expert skipping in MoE-based LLMs. ACE contains two complementary components: 1) Global Spectral Proxy (GSP), which estimates global transformation capacity from the coupled gate, up, and down projections together with RMSNorm scaling; and 2) Router-Conditioned Refinement (RCR), which constructs expert-specific direction prototypes from centered router weights and evaluates expert responses along routing-preferred directions. During inference, ACE combines both estimates with runtime router gates and skips an expert slot only when both views identify it as low-contribution, while always retaining the top-1 expert. All expert statistics are computed offline, leaving only table lookups and lightweight scalar operations online. Extensive experiments across three MoE-based LLMs and eight benchmarks demonstrate that ACE consistently outperforms existing static and dynamic baselines, with increasingly pronounced advantages under aggressive expert skipping. For instance, at a 50% skipping ratio on Qwen3.6-35B-A3B, ACE reduces WikiText-2 perplexity by 7.96% and improves average downstream accuracy by 4.15 percentage points over the strongest competing method.