DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs

📄 arXiv: 2504.17040v2 📥 PDF

作者: Zhenhailong Wang, Senthil Purushwalkam, Caiming Xiong, Silvio Savarese, Heng Ji, Ran Xu

分类: cs.CV, cs.AI

发布日期: 2025-04-23 (更新: 2025-05-10)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DyMU：动态合并与虚拟解合并，提升视觉语言模型效率且无需训练。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 动态Token合并 虚拟Token解合并 高效计算 图像理解

📋 核心要点

  1. 现有视觉语言模型（VLMs）在处理视觉信息时，通常采用固定长度的token序列，导致计算冗余，尤其是在图像内容简单时。
  2. DyMU通过动态Token合并（DToMe）和虚拟Token解合并（VTU），在不进行额外训练的情况下，自适应地减少视觉token数量，降低计算成本。
  3. 实验表明，DyMU在图像和视频理解任务中，能够显著减少视觉token数量（32%-85%），同时保持与全长模型相当的性能。

📝 摘要（中文）

本文提出DyMU，一个高效且无需训练的框架，旨在降低视觉语言模型（VLMs）的计算负担，同时保持高性能。该方法包含两个关键组件：动态Token合并（DToMe）通过基于图像复杂性合并相似的token，减少视觉token嵌入的数量，解决了视觉Transformer中固定长度输出的固有低效问题。虚拟Token解合并（VTU）通过高效地重建完整序列的注意力动态，模拟大型语言模型（LLMs）的预期token序列，从而在无需额外微调的情况下保持下游性能。与以往方法不同，我们的方法动态地调整token压缩以适应图像内容，并且完全无需训练，使其易于应用于大多数最先进的VLM架构。在图像和视频理解任务上的大量实验表明，DyMU可以将平均视觉token数量减少32%-85%，同时在包括最近流行的基于AnyRes的视觉编码器在内的各种VLM架构上实现与全长模型相当的性能。此外，通过定性分析，我们证明DToMe可以根据图像复杂性有效地调整token减少，并且与现有系统不同，它可以为用户提供对计算成本的更多控制。

🔬 方法详解

问题定义：现有视觉语言模型（VLMs）通常使用固定长度的视觉token序列，这在处理简单图像时会产生大量的计算冗余。此外，现有的token压缩方法通常需要额外的训练，限制了其在不同VLM架构中的应用。

核心思路：DyMU的核心思路是动态地调整视觉token的数量，使其与图像的复杂性相匹配。通过动态Token合并（DToMe）减少冗余token，并通过虚拟Token解合并（VTU）保持与大型语言模型的兼容性，从而在不损失性能的情况下提高效率。这种设计避免了额外的训练，使其易于集成到现有的VLM架构中。

技术框架：DyMU框架包含两个主要模块：DToMe和VTU。DToMe首先根据图像复杂性合并相似的视觉token，减少token数量。然后，VTU通过重建完整序列的注意力动态，模拟大型语言模型（LLMs）的预期token序列。整个过程无需额外的训练。

关键创新：DyMU的关键创新在于其动态性和训练自由性。DToMe能够根据图像内容自适应地调整token压缩率，而VTU则保证了压缩后的token序列能够与下游的LLM兼容，且整个过程不需要额外的训练。这与需要额外训练的静态token压缩方法形成了鲜明对比。

关键设计：DToMe的关键设计在于其token相似度度量和合并策略。具体实现细节未知，但摘要提到是基于图像复杂性来合并相似token。VTU的关键设计在于如何有效地重建完整序列的注意力动态，以模拟LLM的预期输入。具体实现细节未知，但目标是保持下游性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DyMU在图像和视频理解任务中表现出色，能够将平均视觉token数量减少32%-85%，同时保持与全长模型相当的性能。该方法在多种VLM架构上进行了验证，包括基于AnyRes的视觉编码器，证明了其通用性和有效性。此外，定性分析表明，DToMe能够根据图像复杂性有效地调整token减少，并为用户提供对计算成本的更多控制。

🎯 应用场景

DyMU具有广泛的应用前景，可应用于各种需要高效视觉语言理解的场景，例如移动设备上的图像/视频分析、实时视频监控、以及资源受限环境下的智能机器人等。通过降低计算成本，DyMU能够使更复杂的VLM模型在这些场景中得以应用，从而提升智能化水平。

📄 摘要（原文）

We present DyMU, an efficient, training-free framework that dynamically reduces the computational burden of vision-language models (VLMs) while maintaining high task performance. Our approach comprises two key components. First, Dynamic Token Merging (DToMe) reduces the number of visual token embeddings by merging similar tokens based on image complexity, addressing the inherent inefficiency of fixed-length outputs in vision transformers. Second, Virtual Token Unmerging (VTU) simulates the expected token sequence for large language models (LLMs) by efficiently reconstructing the attention dynamics of a full sequence, thus preserving the downstream performance without additional fine-tuning. Unlike previous approaches, our method dynamically adapts token compression to the content of the image and operates completely training-free, making it readily applicable to most state-of-the-art VLM architectures. Extensive experiments on image and video understanding tasks demonstrate that DyMU can reduce the average visual token count by 32%-85% while achieving comparable performance to full-length models across diverse VLM architectures, including the recently popularized AnyRes-based visual encoders. Furthermore, through qualitative analyses, we demonstrate that DToMe effectively adapts token reduction based on image complexity and, unlike existing systems, provides users more control over computational costs. Project page: https://mikewangwzhl.github.io/dymu/.