P4Q: Co-designing Token Pruning and Quantization for Vision-Language Model Acceleration

📄 arXiv: 2609.34867v1 📥 PDF

作者: Haizhao Jing, Zhenhao Shang, Haokui Zhang, Rong Xiao, Peng Wang

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出P4Q框架以联合优化视觉标记剪枝与量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 推理加速 标记剪枝 量化技术 多模态应用 效率优化 深度学习

📋 核心要点

  1. 现有的视觉语言模型在推理时面临高计算和内存成本的挑战，限制了其高效部署。
  2. P4Q框架通过联合优化视觉标记剪枝和低位量化，提出量化感知的标记选择和剪枝感知的量化校准策略。
  3. 在LLaVA-NeXT上，P4Q实现了2.8倍的推理速度提升，同时保持了比以往压缩和量化方法更高的准确性。

📝 摘要（中文）

视觉语言模型在多模态应用中表现出色，但其高计算和内存成本限制了高效部署。现有方法通常独立优化视觉标记剪枝和后训练量化，未能充分考虑两者之间的相互作用。本文提出P4Q框架，联合优化这两种技术，首先通过量化感知的视觉标记选择策略来选择标记，其次通过剪枝感知的量化校准策略来调整量化模型。P4Q在保持任务性能的同时，实现了显著的推理加速，提供了比独立优化管道更好的效率与准确性平衡。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型推理时的高计算和内存成本问题。现有方法通常独立优化视觉标记剪枝和量化，未能充分利用两者之间的相互作用，导致压缩性能受限。

核心思路：P4Q框架通过联合优化视觉标记剪枝和低位量化，提出了量化感知的视觉标记选择策略和剪枝感知的量化校准策略。这种设计使得标记选择和量化校准能够相互影响，从而提升整体性能。

技术框架：P4Q的整体架构包括两个主要模块：量化感知的视觉标记选择和剪枝感知的量化校准。首先，利用假量化技术选择视觉标记，然后根据保留标记的分布对量化模型进行校准。

关键创新：P4Q的主要创新在于将视觉标记剪枝与量化过程联合优化，解决了传统方法中两者独立优化导致的性能损失。通过这种联合设计，P4Q在推理速度和准确性上都取得了显著提升。

关键设计：在量化感知的视觉标记选择中，使用假量化的特征进行标记选择；在剪枝感知的量化校准中，采用与剪枝相同的选择策略来校准量化模型，确保校准过程与实际部署路径一致。具体的参数设置和损失函数设计在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LLaVA-NeXT上，P4Q实现了平均2.8倍的端到端推理速度提升，且在八个不同测试集上保持了比以往压缩和量化方法更高的准确性。这一结果表明P4Q在效率与准确性之间取得了优越的平衡。

🎯 应用场景

P4Q框架在视觉语言模型的推理加速方面具有广泛的应用潜力，尤其适用于需要实时处理的多模态任务，如图像描述生成、视频理解和人机交互等。其高效的推理能力将推动相关技术在智能设备和自动化系统中的实际应用，提升用户体验。

📄 摘要（原文）

Vision language models have achieved strong performance across a wide range of multimodal applications, yet their substantial computational and memory costs hinder efficient deployment. Visual token pruning and post-training quantization reduce inference overhead along two complementary dimensions, namely sequence length and numerical precision. Existing workflows typically optimize these techniques independently or apply them sequentially. Their distinct optimization objectives leave critical interactions unaddressed and constrain the achievable compression performance. We revisit these designs and present P4Q, a practical co-design framework that jointly optimizes visual token pruning and low-bit quantization for efficient VLM inference. First, P4Q introduces a quantization-aware visual token selection strategy before the LLM. It applies fake quantization to copies of the features produced by the projector and selects visual tokens using statistics computed from these fake-quantized features, thereby conditioning the selector's feature-based decisions on simulated low-bit perturbations. Second, P4Q introduces a pruning-aware quantization calibration strategy. It uses the same selection strategy as pruning to calibrate the quantized model on the retained-token distribution, thereby aligning the calibration process with the pruned execution path used during deployment. By coupling these two components, P4Q achieves substantial inference speedups while maintaining comparable task performance, resulting in a better efficiency-accuracy trade-off than independently optimized pipelines. For instance, on LLaVA-NeXT, P4Q achieves an average end-to-end inference speedup of 2.8x across eight distinct test sets, while retaining higher accuracy than prior compression and quantization methods.