Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings
作者: Qiong Wu, Wenhao Lin, Yiyi Zhou, Weihao Ye, Zhanpeng Zen, Xiaoshuai Sun, Rongrong Ji
分类: cs.CV, cs.CL, cs.LG, cs.MM
发布日期: 2024-11-29 (更新: 2025-07-25)
🔗 代码/项目: GITHUB
💡 一句话要点
提出动态视觉Token退出机制(DyVTE)，加速多模态大语言模型的推理。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉Token退出 动态Token选择 模型加速 推理效率 注意力机制 超网络
📋 核心要点
- 现有MLLM过度使用视觉tokens导致计算冗余，效率低下，成为实际应用的瓶颈。
- 提出DyVTE方法，通过轻量级超网络动态判断并移除冗余视觉tokens，降低计算成本。
- 在多个MLLM模型和基准测试上验证了DyVTE的有效性，显著提升了推理效率。
📝 摘要（中文）
现有的多模态大语言模型(MLLM)中，过多的视觉token使用通常表现出明显的冗余，并带来了极高的计算成本。为了深入了解这个问题，我们首先对MLLM的注意力行为进行了广泛的实证研究，并总结了MLLM中的三个主要推理阶段：（i）token之间的早期融合迅速完成。（ii）然后进行模态内建模。（iii）多模态推理恢复并持续到推理结束。特别地，我们发现当文本token接收到足够的图像信息时，视觉token将停止对推理做出贡献，从而产生明显的视觉冗余。基于这些广义的观察，我们提出了一种简单而有效的方法来提高MLLM的效率，称为动态视觉token退出（DyVTE）。DyVTE使用轻量级的超网络来感知文本token的状态，并在特定层之后决定移除所有视觉token，从而解决观察到的视觉冗余。为了验证VTE，我们将其应用于一系列MLLM，包括LLaVA、VILA、Eagle和InternVL，并在大量基准上进行了广泛的实验。实验结果不仅表明了我们的VTE在提高MLLM效率方面的有效性，而且产生了MLLM的通用建模模式，很好地促进了对MLLM的深入理解。我们的代码已在https://github.com/DoubtedSteam/DyVTE上发布。
🔬 方法详解
问题定义：现有多模态大语言模型在处理视觉信息时，通常会使用大量的视觉tokens。然而，这些视觉tokens在推理过程中存在明显的冗余，导致计算资源的浪费和推理速度的降低。现有的方法没有充分利用视觉tokens的动态特性，无法根据文本token的状态自适应地调整视觉tokens的使用。
核心思路：本文的核心思路是观察到在MLLM的推理过程中，视觉tokens的贡献会随着文本tokens接收到足够的图像信息而逐渐减小，甚至停止。因此，可以通过动态地移除冗余的视觉tokens来提高推理效率。DyVTE利用轻量级的超网络来感知文本token的状态，并决定何时移除视觉tokens。
技术框架：DyVTE方法主要包含以下几个步骤：1. 特征提取：使用预训练的视觉编码器和文本编码器提取视觉和文本特征。2. 早期融合：在模型的早期层进行视觉和文本特征的融合。3. 超网络预测：使用轻量级的超网络来预测是否应该移除视觉tokens。超网络的输入是文本tokens的状态，输出是一个二元决策。4. 动态Token退出：根据超网络的预测结果，动态地移除视觉tokens。如果超网络预测应该移除视觉tokens，则将视觉tokens从后续的计算中移除。5. 多模态推理：在模型的后续层进行多模态推理。
关键创新：本文最重要的技术创新点是提出了动态视觉token退出机制（DyVTE），该机制可以根据文本token的状态自适应地移除冗余的视觉tokens。与现有方法相比，DyVTE不需要手动调整视觉tokens的数量，而是通过超网络自动学习最佳的退出策略。这种动态调整的方法可以更有效地利用计算资源，并提高推理速度。
关键设计：DyVTE的关键设计包括：1. 超网络结构：超网络采用轻量级的设计，以减少额外的计算开销。可以使用简单的MLP或Transformer结构。2. 退出策略：退出策略决定了何时移除视觉tokens。可以使用固定的层数作为退出点，也可以使用超网络动态地预测退出点。3. 损失函数：可以使用交叉熵损失函数来训练超网络，目标是预测正确的退出决策。4. 超参数设置：需要调整超网络的学习率、batch size等超参数，以获得最佳的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DyVTE在LLaVA、VILA、Eagle和InternVL等多个MLLM模型上均取得了显著的性能提升。例如，在保持模型性能基本不变的情况下，DyVTE能够将推理速度提高1.2倍到1.5倍。此外，实验还揭示了MLLM的通用建模模式，为深入理解MLLM提供了有价值的见解。
🎯 应用场景
该研究成果可广泛应用于各种需要高效多模态信息处理的场景，例如智能问答、图像描述、视觉对话、机器人导航等。通过减少计算冗余，DyVTE能够显著降低MLLM的部署成本，使其更容易在资源受限的设备上运行，加速多模态AI技术的普及。
📄 摘要（原文）
The excessive use of visual tokens in existing Multimoal Large Language Models (MLLMs) often exhibits obvious redundancy and brings in prohibitively expensive computation. To gain insights into this problem, we first conduct extensive empirical studies on the attention behaviors of MLLMs, and summarize three main inference stages in MLLMs: (i) Early fusion between tokens is first accomplished quickly. (ii) Intra-modality modeling then comes to play. (iii) Multimodal reasoning} resumes and lasts until the end of inference. In particular, we reveal that visual tokens will stop contributing to reasoning when the text tokens receive enough image information, yielding obvious visual redundancy. Based on these generalized observations, we propose a simple yet effective method to improve the efficiency of MLLMs, termed dynamic visual-token exit (DyVTE). DyVTE uses lightweight hyper-networks to perceive the text token status and decide the removal of all visual tokens after a certain layer, thereby addressing the observed visual redundancy. To validate VTE, we apply it to a set of MLLMs, including LLaVA, VILA, Eagle and InternVL, and conduct extensive experiments on a bunch of benchmarks. The experiment results not only show the effectiveness of our VTE in improving MLLMs' efficiency, but also yield the general modeling patterns of MLLMs, well facilitating the in-depth understanding of MLLMs. Our code is released at https://github.com/DoubtedSteam/DyVTE.