DecoMoE: Decoupling Visual Propagation and Expert Computation for Efficient Multimodal MoE Inference

📄 arXiv: 2609.38823v1 📥 PDF

作者: Xudong Tan, Peng Ye, Ming Xie, Chenyu Huang, Yaoxin Yang, Jiayuan Fan, Tao Chen

分类: cs.CV

发布日期: 2026-09-30

备注: 21 pages, 11 figures, 6 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出DecoMoE以解决多模态MoE推理效率低下问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态混合专家 视觉传播 专家计算 样本自适应 路由校准 推理效率 深度学习

📋 核心要点

  1. 现有多模态MoE模型在推理时计算成本高，长视觉标记序列导致重复计算，效率低下。
  2. DecoMoE通过样本自适应视觉边界和路由校准专家前缀，解耦视觉传播与专家计算，从而提高推理效率。
  3. 在Qwen3-VL-MoE上，DecoMoE在保持97.91%性能的同时，将计算量从27.06 TFLOPs减少到16.73 TFLOPs，速度提升1.69倍。

📝 摘要（中文）

多模态混合专家（MoE）模型结合了稀疏专家激活与视觉语言能力，但其推理过程仍然成本高昂，因为长视觉标记序列会重复涉及注意力、路由、调度和专家MLP计算。现有方法通常压缩标记或专家维度，导致另一维度冗余。我们的分析揭示了两个互补的规律：视觉传播所需的深度因输入而异，而文本标记路由显示出集中且重复的专家重要性模式。基于这些观察，我们提出了DecoMoE，一个将视觉传播与专家计算解耦的二维结构压缩框架。实验表明，DecoMoE在多个基准测试中表现出色，显著提高了推理效率。

🔬 方法详解

问题定义：论文旨在解决多模态MoE模型推理过程中的高计算成本问题。现有方法通过压缩标记或专家维度来降低计算，但往往导致另一维度的冗余，未能有效提升整体效率。

核心思路：DecoMoE的核心思想是将视觉传播与专家计算解耦。通过分析输入的特性，提出样本自适应视觉边界（SAVB）和路由校准专家前缀（RCEP），实现更高效的推理。

技术框架：DecoMoE框架包括两个主要模块：SAVB用于预测输入依赖的视觉退出层，RCEP则根据文本标记的路由质量对专家进行离线重排序。整体流程是先通过SAVB确定视觉退出层，再通过RCEP优化专家的使用。

关键创新：DecoMoE的创新在于其二维结构压缩方法，首次将视觉传播与专家计算分开处理，显著减少了冗余计算。这一设计与现有方法的根本区别在于其针对输入特性进行动态调整。

关键设计：在SAVB中，视觉退出层的选择依赖于输入特征，而RCEP则保留每个MoE层中覆盖目标路由质量的最短连续前缀。这些设计确保了计算的高效性与灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen3-VL-MoE模型上，DecoMoE保持了97.91%的基线性能，同时将计算从27.06 TFLOPs减少到16.73 TFLOPs，推理延迟从0.44秒降低至0.26秒，实现了1.69倍的速度提升，展现了其在效率上的显著优势。

🎯 应用场景

DecoMoE的研究成果在多模态学习、计算机视觉和自然语言处理等领域具有广泛的应用潜力。通过提高推理效率，该方法可以加速智能助手、自动驾驶、视频分析等技术的发展，推动相关领域的实际应用落地。

📄 摘要（原文）

Multimodal mixture-of-experts (MoE) models combine sparse expert activation with visual-language capabilities, yet their inference remains costly because long visual-token sequences repeatedly incur attention, routing, dispatch, and expert-MLP computation. Existing methods typically compress either the token or expert dimension, leaving redundancy along the other. Our analysis reveals two complementary regularities: the depth required for visual propagation varies across inputs, while text-token routing exhibits concentrated and recurrent expert-importance patterns. Based on these observations, we propose DecoMoE, a two-dimensional structured compression framework that decouples visual propagation from expert computation. The Sample-Adaptive Visual Boundary (SAVB) predicts an input-dependent visual-exit layer at which the visual-token block is removed. The Routing-Calibrated Expert Prefix (RCEP) reorders experts offline using text-token routed mass and, from this predicted exit layer onward, retains at each MoE layer the shortest contiguous prefix covering a target routed-mass fraction. We evaluate DecoMoE on Qwen3-VL-MoE and InternVL3.5-30B-A3B across six benchmarks. On Qwen3-VL-MoE, DecoMoE retains 97.91% of dense-baseline performance while reducing computation from 27.06 to 16.73 TFLOPs and latency from 0.44 to 0.26 seconds, yielding a 1.69x speedup. Code will be available at https://github.com/ShawnTan86/DecoMoE.