QCPruner: Query-Conditioned Population Coverage for Visual Token Pruning

📄 arXiv: 2609.19990v1 📥 PDF

作者: Shengli He, Yongchao Liang, Roumeng He, Junjie Zeng, Jiyuan He, Can Wu, Li Zheng

分类: cs.CV

发布日期: 2026-09-17

💡 一句话要点

提出QCPruner以解决多模态大语言模型中的视觉令牌修剪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉令牌修剪 多模态大语言模型 查询条件优化 无训练方法 性能提升

📋 核心要点

  1. 现有的视觉令牌修剪方法在保持查询相关性和避免冗余方面存在不足，难以在固定预算下有效工作。
  2. QCPruner通过双向效用加权，使视觉目标和候选代表都与查询条件相关，从而优化修剪效果。
  3. 在LLaVA-1.5和Qwen2.5-VL等数据集上，QCPruner在每个报告的令牌预算下都实现了最高的平均相对性能。

📝 摘要（中文）

在多模态大语言模型（MLLMs）中，视觉令牌的高负载促使了无训练修剪方法的提出，以减少后续层的计算。然而，在固定预算下，修剪必须保留与查询相关的证据，同时避免冗余。现有方法通过排名令牌、选择多样化子集或优化覆盖率来解决这一问题，但未能使用共享的查询效用来加权视觉目标和候选代表。本文提出QCPruner，通过双向效用加权使两者都与查询条件相关。QCPruner利用关键词匹配的查询锚点，将两种跨模态线索融合为效用，并将其应用于视觉目标和候选代表。该方法在多个数据集上表现出色，达到了最高的相对性能。

🔬 方法详解

问题定义：本文旨在解决在多模态大语言模型中，如何在固定预算下有效修剪视觉令牌的问题。现有方法未能有效平衡查询相关性与冗余性，导致性能下降。

核心思路：QCPruner通过双向效用加权，将视觉目标和候选代表与查询条件相结合，优化了修剪过程。这种设计使得修剪不仅考虑单一的视觉信息，还能有效利用查询信息。

技术框架：QCPruner的整体架构包括两个主要模块：查询锚点的关键词匹配和视觉亲和性基础的覆盖率优化。通过这两个模块，QCPruner实现了对视觉令牌的有效修剪。

关键创新：QCPruner的主要创新在于引入了双向效用加权机制，使得视觉目标和候选代表都能根据查询条件进行优化。这与现有方法的单一效用评估形成了鲜明对比。

关键设计：QCPruner采用了非负的设施选址目标，确保了目标的单调性和次模性，并保留了标准的贪婪保证。此外，该方法无需模型训练或参数更新，简化了实现过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LLaVA-1.5-7B数据集中，QCPruner在32个令牌下保留了96.1%的未修剪性能，而最强基线为93.9%。在Qwen2.5-VL-7B数据集中，256个令牌下的对应值为96.7%和92.5%。QCPruner在所有评估的完整系统修剪方法中表现最佳。

🎯 应用场景

QCPruner在多模态大语言模型中的应用潜力巨大，能够有效提升视觉信息处理的效率，适用于图像理解、视频分析等领域。其无训练的特性也使得在资源受限的环境中具有实际价值，未来可能推动更高效的多模态系统的发展。

📄 摘要（原文）

The high visual-token load in multimodal large language models (MLLMs) motivates training-free pruning to reduce later-layer computation, but under a fixed budget, pruning must preserve query-relevant evidence while avoiding redundancy. Existing methods rank tokens, diversify selected subsets, or optimize coverage without using a shared per-visual query utility to weight both visual targets and candidate representatives. We introduce QCPruner, which makes both roles query-conditioned through bilateral utility weighting. Using keyword-matched query anchors, QCPruner fuses two cross-modal cues into utility and applies it to both visual targets and candidate representatives within visual-affinity-based coverage. The resulting nonnegative facility-location objective is monotone and submodular, retains the standard (1-1/e) greedy guarantee, and requires no model training or parameter updates. Across LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, and Qwen2.5-VL, QCPruner achieves the highest average relative performance among evaluated complete-system pruning methods at every reported token budget. At 32 of 576 tokens on LLaVA-1.5-7B, it retains 96.1% of unpruned performance, versus 93.9% for the strongest evaluated baseline. At 256 of 1296 tokens on Qwen2.5-VL-7B, the corresponding values are 96.7% and 92.5%.