MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs

📄 arXiv: 2610.01434v1 📥 PDF

作者: Xudong Wang, Hao Wu, Haozhe Hu, Peiran Yin, Xinghao Chen, Yunpu Ma, Wei Zhang, Xiaoyu Shen

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-10-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出MWOP以解决多模态大语言模型的高推理成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 操作剪枝 视觉-文本处理 推理效率 深度学习

📋 核心要点

  1. 现有的操作压缩方法未能充分利用多模态大语言模型中的细粒度冗余，导致推理效率低下。
  2. 提出的MWOP方法通过独立剪枝不同模态的注意力路径和FFN通道，优化了计算资源的使用。
  3. 在LLaVA-OneVision-7B上，MWOP实现了1.6倍的预填充速度提升，并与其他压缩方法结合进一步提高了性能。

📝 摘要（中文）

多模态大语言模型（MLLMs）在处理长视觉-文本序列时面临显著的推理成本。现有的操作压缩方法主要利用模态级冗余，但在注意力头和共享前馈网络（FFN）通道内的计算处理上未能细致区分。本文提出了模态感知宽度操作剪枝（MWOP），独立修剪每层中的视觉-视觉（V2V）、文本-视觉（T2V）和文本-文本（T2T）注意力路径，并分别选择视觉和文本输入的FFN通道。通过一阶泰勒准则指导剪枝过程，并在注意力剪枝后重新评估FFN的重要性。MWOP在保持token序列的同时减少了注意力和FFN计算，实现在序列长度和每token计算的同时减少。实验结果表明，MWOP在LLaVA-OneVision-7B上实现了1.6倍的预填充加速，且在12个基准测试中保持了99.7%的平均性能。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在处理长视觉-文本序列时的高推理成本问题。现有方法主要关注模态级冗余，未能细致处理注意力头和FFN通道内的计算冗余，导致效率低下。

核心思路：MWOP通过独立剪枝视觉-视觉、文本-视觉和文本-文本的注意力路径，及分别选择视觉和文本输入的FFN通道，来实现更细粒度的冗余利用，从而提高计算效率。

技术框架：该方法包括几个主要模块：首先，使用一阶泰勒准则进行剪枝；其次，在注意力剪枝后重新评估FFN的重要性；最后，开发路径稀疏的Triton注意力内核和紧凑的视觉侧FFN执行。

关键创新：MWOP的创新在于其细粒度的剪枝策略，能够在不同模态间和同一模态内进行独立优化，显著提升了推理速度和计算效率。与现有方法相比，MWOP能够更有效地利用冗余。

关键设计：在剪枝过程中，采用一阶泰勒准则作为指导，并在注意力剪枝后对FFN通道进行重要性重新评估。此外，设计了路径稀疏的Triton注意力内核，以实现高效的计算。整体架构确保了在保持token序列的同时，减少了计算负担。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MWOP在LLaVA-OneVision-7B上实现了1.6倍的预填充速度提升，且在12个基准测试中保持了99.7%的平均性能。此外，与两种代表性的token压缩方法结合后，预填充速度提升分别从2.0倍和1.9倍提高到2.9倍和2.7倍，显示出显著的性能提升。

🎯 应用场景

MWOP的研究成果在多模态大语言模型的推理效率提升方面具有广泛的应用潜力，尤其适用于需要处理长文本和视觉信息的任务，如图像描述、视频理解和人机交互等领域。未来，该方法可能推动更高效的AI系统开发，降低计算资源消耗，提升用户体验。

📄 摘要（原文）

Multimodal large language models (MLLMs) incur substantial inference costs when processing long visual-textual sequences. While existing operation compression methods exploit modality-level redundancy, they largely treat computation within attention heads and shared feed-forward network (FFN) channels as unified units, leaving finer-grained redundancy underexplored. We find that redundancy varies both across modality-interaction paths within the same attention head and across visual and textual executions of the same FFN channel. Based on these findings, we propose Modality-aware Width-wise Operation Pruning (MWOP), which independently prunes visual-to-visual (V2V), text-to-visual (T2V), and text-to-text (T2T) attention paths within each layer, and separately selects FFN channels for visual and textual inputs. A first-order Taylor criterion guides the pruning process, with FFN importance re-evaluated after attention pruning and LoRA-based recovery training. To translate the resulting fine-grained sparsity into practical acceleration, we further develop path-sparse Triton attention kernels and compact visual-side FFN execution. MWOP preserves the token sequence while reducing attention and FFN computation, making it complementary to token compression and enabling simultaneous reduction of sequence length and per-token computation. On LLaVA-OneVision-7B, MWOP alone achieves a $1.6\times$ prefill speedup with 99.7\% average performance retention across 12 benchmarks. Combined with two representative token compression methods, it further increases their prefill speedups from $2.0\times$ and $1.9\times$ to $2.9\times$ and $2.7\times$, respectively. Results on Qwen2.5-VL-7B further demonstrate its applicability across architectures. The code is available at https://github.com/EIT-NLP/MWOP.