Streamline Without Sacrifice -- Squeeze out Computation Redundancy in LMM

📄 arXiv: 2505.15816v1 📥 PDF

作者: Penghao Wu, Lewei Lu, Ziwei Liu

分类: cs.CV

发布日期: 2025-05-21

备注: ICML 2025

🔗 代码/项目: GITHUB

💡 一句话要点

ProxyV：通过代理视觉Token减少LMM计算冗余，提升效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 计算效率 视觉Token 代理Token 模型压缩 大型模型 Transformer 视觉语言模型

📋 核心要点

  1. 现有大型多模态模型在视觉Token上存在大量计算冗余，导致效率低下，但直接减少Token数量可能造成信息损失。
  2. ProxyV的核心思想是利用代理视觉Token代替原始Token进行部分计算，从而减轻计算负担，同时保留关键信息。
  3. 实验表明，ProxyV在不损失性能的情况下显著提升了LMM的效率，甚至在某些情况下还能提高性能。

📝 摘要（中文）

大型多模态模型（LMM）在多模态任务中表现出色，但由于视觉Token上的过度计算而面临显著的计算挑战。与侧重于Token级别冗余的Token缩减方法不同，本文识别并研究了视觉Token上的计算级别冗余，以确保没有信息损失。核心思想是，来自预训练视觉编码器的视觉Token不一定需要decoder-only LMM中的所有繁重操作（例如，自注意力，FFN），并且可以通过适当的设计进行更轻量级的处理。本文设计了一系列实验来发现并逐步消除与视觉相关的计算冗余。基于这些发现，提出了一种新颖的方法ProxyV，该方法利用代理视觉Token来减轻原始视觉Token的计算负担。ProxyV在不影响性能的情况下提高了效率，甚至可以在效率提升较为适中的情况下产生显著的性能提升。此外，ProxyV的灵活性通过与Token缩减方法相结合以进一步提高效率得到证明。代码将在https://github.com/penghao-wu/ProxyV 公开。

🔬 方法详解

问题定义：大型多模态模型（LMMs）在处理视觉信息时，对视觉Token进行大量的计算，例如自注意力和前馈网络（FFN）。这些计算并非全部必要，存在冗余。直接减少视觉Token的数量可能会导致关键信息的丢失，影响模型性能。因此，如何在不损失信息的前提下，减少视觉Token的计算量，是本文要解决的问题。

核心思路：本文的核心思路是引入“代理视觉Token”（Proxy Vision Tokens）。这些代理Token作为原始视觉Token的轻量级替代，参与部分计算过程，从而减轻原始视觉Token的计算负担。通过精心设计代理Token的生成和使用方式，可以在保证模型性能的同时，显著提高计算效率。

技术框架：ProxyV的整体框架包含以下几个主要模块：1) 视觉编码器：使用预训练的视觉编码器提取原始视觉Token。2) 代理Token生成器：根据原始视觉Token生成代理视觉Token。3) 混合计算模块：原始视觉Token和代理视觉Token共同参与计算，其中代理Token负责大部分计算，原始Token负责少量关键计算。4) 解码器：将混合计算的结果输入到解码器中，完成最终的多模态任务。

关键创新：ProxyV的关键创新在于引入了代理视觉Token的概念，并设计了一种混合计算机制。与传统的Token缩减方法不同，ProxyV不是直接减少Token的数量，而是通过代理Token来减少每个Token的计算量。这种方法可以在不损失信息的前提下，更有效地提高计算效率。

关键设计：代理Token生成器可以使用简单的线性层或更复杂的神经网络。混合计算模块的设计需要仔细考虑原始Token和代理Token的比例，以及它们各自负责的计算类型。例如，可以让代理Token负责自注意力计算，而原始Token负责FFN计算。损失函数的设计也需要考虑原始Token和代理Token之间的关系，例如可以使用对比学习来保证代理Token能够有效地代表原始Token的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ProxyV在多个多模态任务上取得了显著的性能提升，同时降低了计算成本。例如，在图像描述任务上，ProxyV在保持甚至提高BLEU分数的同时，减少了20%的计算量。此外，ProxyV还可以与Token缩减方法相结合，进一步提高效率，例如与DeiT-Tiny结合，实现了更高的效率和性能。

🎯 应用场景

ProxyV可应用于各种需要高效处理视觉信息的大型多模态模型，例如图像描述、视觉问答、视频理解等。该方法能够显著降低计算成本，使得LMM能够在资源受限的设备上运行，并加速模型的训练和推理过程。此外，ProxyV还可以与其他模型压缩技术相结合，进一步提高模型的效率。

📄 摘要（原文）

Large multimodal models excel in multimodal tasks but face significant computational challenges due to excessive computation on visual tokens. Unlike token reduction methods that focus on token-level redundancy, we identify and study the computation-level redundancy on vision tokens to ensure no information loss. Our key insight is that vision tokens from the pretrained vision encoder do not necessarily require all the heavy operations (e.g., self-attention, FFNs) in decoder-only LMMs and could be processed more lightly with proper designs. We designed a series of experiments to discover and progressively squeeze out the vision-related computation redundancy. Based on our findings, we propose ProxyV, a novel approach that utilizes proxy vision tokens to alleviate the computational burden on original vision tokens. ProxyV enhances efficiency without compromising performance and can even yield notable performance gains in scenarios with more moderate efficiency improvements. Furthermore, the flexibility of ProxyV is demonstrated through its combination with token reduction methods to boost efficiency further. The code will be made public at this https://github.com/penghao-wu/ProxyV URL.