Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models

📄 arXiv: 2403.15226 📥 PDF

作者: Qiong Wu, Weihao Ye, Yiyi Zhou, Xiaoshuai Sun, Rongrong Ji

分类: cs.MM, cs.CL

发布日期: 2026-02-28

💡 一句话要点

提出高效注意力跳跃（EAS）方法，加速多模态大语言模型推理并保持参数效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 注意力机制 模型加速 参数效率 迁移学习

📋 核心要点

  1. 多模态大语言模型计算开销大，主要源于多头注意力机制（MHA）的冗余计算。
  2. EAS方法通过评估注意力冗余，跳过不重要的MHA，并引入信息传播适配器（PIA）保持参数效率。
  3. 实验表明，EAS在保持高性能和参数效率的同时，显著提升了MLLM的推理速度。

📝 摘要（中文）

本文提出了一种针对多模态大语言模型（MLLM）的参数和计算高效的微调方法，称为高效注意力跳跃（EAS）。具体来说，我们首先揭示了多头注意力（MHA），即MLLM的主要计算开销，对于下游任务来说通常是冗余的。基于这一观察，EAS评估注意力冗余并跳过不太重要的MHA，以加速推理。此外，我们还提出了一种新颖的信息传播适配器（PIA），用于支持EAS的注意力跳跃并保持参数效率，该适配器可以进一步重新参数化为前馈网络（FFN），以实现零额外延迟。为了验证EAS，我们将其应用于最近提出的MLLM LaVIN和经典的VL预训练模型METER，并在多个基准上进行了广泛的实验。实验表明，EAS不仅保持了高性能和参数效率，而且大大提高了推理速度。例如，LaVIN-EAS可以在ScineceQA上获得89.98%的准确率，同时将推理速度提高到LaVIN的2.2倍。

🔬 方法详解

问题定义：多模态大语言模型（MLLM）在处理视觉和语言信息时，计算复杂度高，推理速度慢。主要瓶颈在于多头注意力（MHA）模块，但并非所有注意力头都对下游任务有同等重要的贡献，存在冗余计算。现有方法通常难以在保持性能的同时，有效降低MHA的计算开销。

核心思路：论文的核心思路是识别并跳过对下游任务贡献较小的注意力头，从而减少计算量，加速推理。通过评估每个注意力头的冗余度，动态地选择性执行注意力计算。同时，为了弥补跳过注意力头可能带来的信息损失，引入了信息传播适配器（PIA）。

技术框架：EAS方法主要包含两个核心组件：注意力跳跃机制和信息传播适配器（PIA）。首先，通过某种策略（具体策略未知）评估每个注意力头的冗余度。然后，根据评估结果，动态地跳过一部分注意力头，只保留重要的注意力头进行计算。为了弥补跳过注意力头带来的信息损失，在注意力层之后引入PIA，用于在不同注意力头之间传播信息。PIA可以进一步被重新参数化为前馈网络（FFN），从而在推理时避免额外的延迟。

关键创新：EAS的关键创新在于：1) 提出了注意力跳跃机制，通过识别和跳过冗余的注意力头来减少计算量；2) 引入了信息传播适配器（PIA），用于弥补跳过注意力头带来的信息损失，并保持参数效率。与现有方法相比，EAS能够在显著加速推理的同时，保持较高的性能。

关键设计：关于注意力冗余度的评估策略，论文中没有详细说明，具体实现未知。PIA的具体结构和参数设置也未知。论文提到PIA可以被重新参数化为FFN，但具体的重新参数化方法未知。损失函数方面的信息也未知。

📊 实验亮点

实验结果表明，EAS方法在LaVIN模型上，能够在ScineceQA数据集上达到89.98%的准确率，同时将推理速度提升到原始LaVIN的2.2倍。该方法在保持高性能和参数效率的同时，显著提升了MLLM的推理速度，验证了其有效性。

🎯 应用场景

该研究成果可应用于各种需要快速响应的多模态应用场景，例如智能客服、自动驾驶、机器人导航、实时视频分析等。通过降低MLLM的计算成本和推理延迟，可以使其更容易部署在资源受限的设备上，并提升用户体验。未来的研究可以探索更有效的注意力冗余评估方法和更轻量级的信息传播机制。

📄 摘要（原文）

In this paper, we propose a novel parameter and computation efficient tuning method for Multi-modal Large Language Models (MLLMs), termed Efficient Attention Skipping (EAS). Concretely, we first reveal that multi-head attentions (MHAs), the main computational overhead of MLLMs, are often redundant to downstream tasks. Based on this observation, EAS evaluates the attention redundancy and skips the less important MHAs to speed up inference. Besides, we also propose a novel propagation-of-information adapter (PIA) to serve the attention skipping of EAS and keep parameter efficiency, which can be further re-parameterized into feed-forward networks (FFNs) for zero-extra latency. To validate EAS, we apply it to a recently proposed MLLM called LaVIN and a classic VL pre-trained model called METER, and conduct extensive experiments on a set of benchmarks. The experiments show that EAS not only retains high performance and parameter efficiency, but also greatly speeds up inference speed. For instance, LaVIN-EAS can obtain 89.98\% accuracy on ScineceQA while speeding up inference by 2.2 times to LaVIN