TReVS: Integrating Textual Relevance and Visual Saliency for Efficient Vision-Language Model Token Pruning

📄 arXiv: 2609.37581v1 📥 PDF

作者: Jing Wang, Zhiping Wu, Dongdong Ren, Youfang Han, Wei Zhao, Wenbin Li

分类: cs.CV, cs.AI

发布日期: 2026-09-29

💡 一句话要点

提出TReVS以解决视觉语言模型的高效令牌修剪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 令牌修剪 多模态学习 高效推理 文本相关性 视觉显著性 深度学习

📋 核心要点

  1. 现有的视觉语言模型在推理时面临高昂的计算成本，尤其是由于视觉令牌数量庞大，导致效率低下。
  2. 论文提出的TReVS框架通过结合文本相关性与视觉显著性，优化了视觉令牌的修剪过程，避免了关键视觉信息的丢失。
  3. 在LLaVA-1.5-7B上，TReVS在修剪94.4%视觉令牌的同时，保留了92.8%的未修剪基线性能，显著优于现有方法。

📝 摘要（中文）

视觉语言模型（VLMs）在视觉理解和推理方面表现出色，但由于大量视觉令牌的存在，推理成本往往很高。现有的视觉令牌修剪方法通常采用两阶段的范式，首先在视觉编码器后移除视觉冗余令牌，然后在大型语言模型（LLM）中丢弃与文本查询无关的令牌。然而，第一阶段通常仅依赖于视觉编码器的显著性，可能会过早地消除与查询相关的令牌，从而剥夺后续文本引导阶段的关键视觉证据。我们的实证分析表明，将查询引导纳入第一阶段修剪能够更好地保留任务相关证据，并在性能上持续优于仅基于视觉显著性的修剪。基于这些发现，我们提出了TReVS，一个无训练的框架，结合文本相关性与视觉编码器显著性进行LLM前的修剪，并利用高方差注意力头在LLM的浅层到中间层移除与任务无关的令牌。

🔬 方法详解

问题定义：论文要解决的问题是如何在视觉语言模型中高效修剪视觉令牌，以降低推理成本。现有方法主要依赖视觉编码器的显著性，可能会错误地移除与查询相关的视觉信息。

核心思路：论文的核心思路是将文本相关性引入第一阶段的修剪过程，以更好地保留与任务相关的视觉证据，从而提升模型的整体性能。

技术框架：TReVS框架分为两个主要阶段：第一阶段结合文本相关性与视觉显著性进行视觉令牌的预修剪，第二阶段利用高方差注意力头在LLM中移除与任务无关的令牌。

关键创新：最重要的技术创新点在于引入查询引导的修剪策略，避免了传统方法中因单一依赖视觉显著性而导致的性能损失。

关键设计：在设计中，TReVS利用高方差注意力头，这些头对文本查询更敏感，能够提供更具区分性的文本-视觉注意力信号，确保在修剪过程中保留重要的视觉信息。具体的参数设置和网络结构细节在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TReVS在LLaVA-1.5-7B上修剪了94.4%的视觉令牌，同时保留了92.8%的未修剪基线性能，显著优于以往的最先进方法，展示了其在视觉语言模型中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、视觉问答和多模态检索等。通过提高视觉语言模型的推理效率，TReVS能够在资源受限的环境中实现更高效的多模态理解，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language Models (VLMs) excel at visual understanding and reasoning but often incur substantial inference costs due to the large number of visual tokens. Recent visual token pruning methods increasingly follow a two-stage paradigm: they first remove visually redundant tokens after the vision encoder and then discard tokens irrelevant to the textual query within the Large Language Model (LLM). However, since the first stage typically relies solely on vision-encoder saliency, it may prematurely eliminate query-relevant tokens, depriving the subsequent text-guided stage of critical visual evidence. Our empirical analysis shows that incorporating query guidance into first-stage pruning better preserves task-relevant evidence and consistently improves performance over vision-only saliency-based pruning. We further find that high-variance attention heads are more sensitive to the textual query and yield more discriminative text-to-vision attention signals for second-stage pruning. Motivated by these findings, we propose TReVS, a training-free framework that combines textual relevance with vision-encoder saliency for pre-LLM pruning and leverages high-variance attention heads to remove task-irrelevant tokens at shallow-to-intermediate layers of the LLM. On LLaVA-1.5-7B, TReVS retains 92.8% of the unpruned baseline performance while pruning 94.4% of visual tokens, outperforming prior state-of-the-art methods.