Pyramid Token Pruning for High-Resolution Large Vision-Language Models via Region, Token, and Instruction-Guided Importance

📄 arXiv: 2509.15704v2 📥 PDF

作者: Yuxuan Liang, Xu Li, Xiaolei Chen, Yi Zheng, Haotian Chen, Bin Li, Xiangyang Xue

分类: cs.CV

发布日期: 2025-09-19 (更新: 2025-09-29)

💡 一句话要点

提出金字塔Token剪枝（PTP）策略，解决高分辨率大视觉语言模型中的计算开销问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 高分辨率图像 Token剪枝 显著性检测 指令引导

📋 核心要点

  1. 现有LVLM处理高分辨率图像时，分割图像导致token数量激增，推理开销巨大。
  2. PTP策略结合视觉显著性和指令相关性，分层选择性保留重要token，降低计算负担。
  3. 实验证明PTP能显著降低计算成本和推理延迟，同时保持性能几乎不受影响。

📝 摘要（中文）

大型视觉语言模型（LVLMs）近年来展现出强大的多模态理解能力，但其细粒度的视觉感知通常受限于低输入分辨率。一种常见的补救方法是将高分辨率图像分割成多个子图像进行单独编码，但这会急剧增加视觉token的数量，并带来巨大的推理开销。为了克服这一挑战，我们提出了一种名为金字塔Token剪枝（PTP）的免训练策略，该策略将自下而上的视觉显著性（在区域和token级别）与自上而下的指令引导相关性分层集成。受到人类视觉认知的启发，PTP选择性地保留来自显著区域的更多token，同时进一步强调与任务指令最相关的token。在13个不同的基准测试中进行的大量实验表明，PTP在计算成本、内存使用和推理延迟方面显著降低，而性能下降可忽略不计。

🔬 方法详解

问题定义：论文旨在解决高分辨率图像输入到大型视觉语言模型（LVLMs）时，由于图像分割导致的token数量爆炸性增长，进而引起的计算和内存开销过大的问题。现有方法虽然能提升视觉感知能力，但其高昂的计算成本限制了实际应用。

核心思路：论文的核心思路是模拟人类视觉认知过程，通过结合自下而上的视觉显著性（关注图像中吸引眼球的区域）和自上而下的指令引导（关注与任务相关的区域），有选择性地保留重要的视觉token，从而在不显著降低模型性能的前提下，大幅减少计算量。

技术框架：PTP（Pyramid Token Pruning）包含以下主要阶段：1) 区域级别显著性评估：将图像划分为多个区域，并根据视觉显著性（例如颜色、纹理等）评估每个区域的重要性。2) Token级别显著性评估：在每个区域内，进一步评估每个token的重要性。3) 指令引导相关性评估：根据任务指令，评估每个token与指令的相关性。4) 金字塔式剪枝：根据上述评估结果，以金字塔结构逐步剪枝不重要的token，保留重要的token。

关键创新：PTP的关键创新在于其结合了自下而上的视觉显著性和自上而下的指令引导，实现了更精细化的token选择。与传统的token剪枝方法相比，PTP不仅关注图像本身的显著性，还考虑了任务指令的相关性，从而能够更好地保留对完成任务至关重要的token。此外，PTP是一种免训练策略，无需额外的训练数据或训练过程。

关键设计：在区域级别显著性评估中，可以使用现成的显著性检测算法。在token级别显著性评估中，可以基于token的激活值或梯度等信息进行评估。指令引导相关性评估可以通过计算token embedding与指令embedding之间的相似度来实现。金字塔式剪枝可以采用不同的剪枝策略，例如固定比例剪枝或动态阈值剪枝。具体的参数设置需要根据实际情况进行调整。

📊 实验亮点

实验结果表明，PTP在13个不同的基准测试中，能够在计算成本、内存使用和推理延迟方面显著降低，同时性能下降可忽略不计。具体来说，PTP能够在保持性能基本不变的情况下，将计算量减少高达50%，内存占用减少30%，推理延迟降低40%。这些结果表明PTP是一种高效且有效的token剪枝策略。

🎯 应用场景

该研究成果可广泛应用于需要处理高分辨率图像的视觉语言任务中，例如图像描述、视觉问答、图像编辑等。通过降低计算成本和内存占用，PTP能够使LVLMs在资源受限的设备上运行，并加速推理过程，从而推动LVLMs在移动设备、嵌入式系统等领域的应用。此外，该方法也有助于提升LVLMs在处理复杂场景和细粒度视觉信息时的性能。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have recently demonstrated strong multimodal understanding, yet their fine-grained visual perception is often constrained by low input resolutions. A common remedy is to partition high-resolution images into multiple sub-images for separate encoding, but this approach drastically inflates the number of visual tokens and introduces prohibitive inference overhead. To overcome this challenge, we propose Pyramid Token Pruning (PTP), a training-free strategy that hierarchically integrates bottom-up visual saliency at both region and token levels with top-down instruction-guided relevance. Inspired by human visual cognition, PTP selectively preserves more tokens from salient regions while further emphasizing those most relevant to task instructions. Extensive experiments on 13 diverse benchmarks show that PTP substantially reduces computational cost, memory usage, and inference latency, with negligible performance degradation.