Don't Skip the Baseline: A Controlled Comparison of Dynamic Expert Skipping in MoEs
作者: Jakob Steimle, Thomas Elsken, Daniel Ehrhardt, Lukas Rinder, Daniel Cremers, Xi Wang
分类: cs.LG, cs.AI
发布日期: 2026-10-20
💡 一句话要点
提出动态专家跳过方法的基线比较以优化MoE模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 混合专家模型 动态专家跳过 基线比较 模型优化 多模态学习
📋 核心要点
- 现有的动态专家跳过方法在不同校准机制和有效专家数量的减少上存在较大差异，导致比较困难。
- 本文提出了一种统一的分类方法，并与静态减少专家数量的基线进行公平比较，以评估动态方法的有效性。
- 实验结果显示，简单的静态基线在多个模型和设置中表现优于动态方法，且动态方法的提升幅度通常较小。
📝 摘要（中文）
随着动态专家跳过方法在混合专家（MoE）模型中的应用日益增多，这些方法旨在在推理过程中调整每个token激活的专家数量，以保持模型质量并进一步减少活跃参数的数量。然而，不同的校准机制和有效专家数量的减少使得比较变得困难。本文将四种代表性的方法进行统一分类，并与静态减少专家数量的简单基线进行基准测试。结果表明，简单基线在多个模型和设置中难以被超越，且动态方法的性能往往低于基线，提升幅度有限。基于这些发现，建议采用无校准的每种模式静态减少专家数量，并在持出模型上验证。
🔬 方法详解
问题定义：本文旨在解决动态专家跳过方法在混合专家模型中的比较困难，现有方法在不同校准机制和有效专家数量的减少上存在显著差异，导致性能评估不一致。
核心思路：论文提出将四种代表性动态专家跳过方法进行统一分类，并与静态减少专家数量的基线进行比较，以提供一个公平的评估框架。
技术框架：研究首先对现有动态方法进行分类，然后在两个现代MoE模型（Gemma4-26B-A4B和Qwen3-30B-A3B）以及一个多模态模型（Qwen3-VL）上进行基准测试，确保在相同的计算预算下进行比较。
关键创新：最重要的创新在于提出了一个静态基线作为动态方法的比较标准，发现动态方法在多个设置中难以超越这一基线，强调了静态控制的重要性。
关键设计：在实验中，采用了相同的专家数量减少策略，并确保在不同模型和模式下的计算预算一致，以便进行有效的比较。
🖼️ 关键图片
📊 实验亮点
实验结果显示，简单的静态基线在多个模型和设置中表现优于动态专家跳过方法，且动态方法的性能提升通常较小。这一发现强调了静态控制的重要性，建议在未来的研究中作为动态方法的比较基准。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理和计算机视觉等多模态任务，能够为模型设计提供新的思路，尤其是在需要平衡模型复杂性与性能的场景中。未来，研究结果可能推动更高效的模型架构设计，提升实际应用中的推理速度和资源利用率。
📄 摘要（原文）
A growing body of work proposes dynamic expert-skipping methods for Mixture-of-Experts (MoE) models that adjust the number of experts activated per token during inference, aiming to preserve model quality while further reducing the number of active parameters. These methods have added calibrated importance scores, inter-expert similarity metrics, or learned per-token allocators in order to identify experts to skip. However, different calibration regimes, different reductions in the effective number of experts, and evaluation suites make comparisons difficult. We classify four representative prior methods into a unified taxonomy and benchmark them against a natural, simple baseline: statically reducing the number of experts $k$ (i.e., same reduced $k$ across all layers and tokens). We provide a fair comparison of these methods at matched expert-compute budget, on two modern MoEs (Gemma4-26B-A4B and Qwen3-30B-A3B) in a text-only setting and a contemporary vision-language model (Qwen3-VL) in a multimodal setting. Surprisingly, we find that the simple baseline is hard to outperform consistently across models, modalities, benchmarks, and calibration settings. The methods we benchmark often underperform the baseline and achieved gains, when present, are minor. We further find that the effective $k$ achieved (or optimized for) in calibration can diverge from the effective $k$ in testing, resulting in over- or under-estimating the compute at inference time. Based on these findings, we recommend a calibration-free per-modality static $k$ reduction and validate this on a held-out model and modality. We further argue that a static control at matched measured compute is the baseline any dynamic skipping method must beat.