Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients

📄 arXiv: 2603.17809v1 📥 PDF

作者: Ziwei Xiang, Fanhu Zeng, Hongjian Fang, Rui-Qi Wang, Renxing Chen, Yanan Zhu, Yi Chen, Peipei Yang, Xu-Yao Zhang

分类: cs.CV, cs.AI

发布日期: 2026-03-18

备注: Accepted by CVPR 2026 Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于量化感知积分梯度的细粒度后训练量化方法，提升大视觉语言模型量化性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 后训练量化 积分梯度 模型压缩 细粒度量化

📋 核心要点

  1. 现有LVLM量化方法在模态级别衡量token敏感性，忽略了token间的复杂交互，无法准确评估token级别的量化误差。
  2. 论文提出基于量化感知积分梯度（QIG）的细粒度量化策略，利用积分梯度定量评估token敏感性，实现token级别的量化。
  3. 实验表明，QIG方法在W4A8和W3A16设置下，显著提升了多个LVLM模型的准确率，且延迟开销很小。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在需要多模态交互的下游任务中取得了显著成功，但其强大的能力也带来了巨大的计算和内存开销，阻碍了实际部署。后训练量化是一种流行的加速技术，可以有效降低内存成本并加速推理。然而，现有的LVLM量化方法通常在模态级别衡量token敏感性，无法捕捉复杂的跨token交互，也无法定量衡量token级别的量化误差。随着token在模型中的交互，模态之间的区别逐渐减小，这表明需要进行细粒度的校准。受机械可解释性中公理化归因的启发，我们提出了一种基于量化感知积分梯度（QIG）的细粒度量化策略，该策略利用积分梯度来定量评估token敏感性，并将粒度从模态级别推到token级别，反映了模态间和模态内的动态。在W4A8和W3A16设置下，对多个LVLM进行的大量实验表明，我们的方法提高了模型和基准测试的准确性，且延迟开销可忽略不计。例如，在3比特权重量化下，我们的方法将LLaVA-onevision-7B的平均准确率提高了1.60%，使其与全精度模型的差距缩小到仅1.33%。代码已在https://github.com/ucas-xiang/QIG上发布。

🔬 方法详解

问题定义：现有的大型视觉语言模型（LVLM）量化方法主要在模态级别进行token敏感性分析，无法捕捉到模型内部token之间复杂的交互关系，导致量化后的模型性能下降。现有方法无法准确衡量每个token对量化误差的贡献，从而无法进行有效的细粒度量化。

核心思路：论文的核心思路是利用积分梯度（Integrated Gradients）来定量评估每个token对模型输出的影响，从而反映token的敏感性。通过量化感知的积分梯度（QIG），可以更准确地衡量token级别的量化误差，并指导细粒度的量化过程。这种方法能够同时考虑模态内和模态间的token交互，从而实现更有效的量化。

技术框架：该方法主要包含以下几个阶段：1) 使用积分梯度计算每个token的敏感性得分。2) 基于计算出的敏感性得分，对模型中的权重进行量化。3) 在量化过程中，根据token的敏感性动态调整量化参数，例如量化范围和量化步长。4) 使用量化后的模型进行推理，并评估性能。

关键创新：该方法最重要的创新点在于引入了量化感知的积分梯度（QIG）来评估token的敏感性。与传统的模态级别敏感性分析相比，QIG能够更准确地反映每个token对模型输出的影响，从而实现更细粒度的量化。此外，该方法还能够同时考虑模态内和模态间的token交互，从而更全面地评估token的敏感性。

关键设计：积分梯度的计算是关键。论文可能采用了某种近似计算方法来降低计算复杂度。量化过程中，如何根据token的敏感性动态调整量化参数也是一个关键设计。例如，可以对敏感性较高的token使用更高的量化精度，而对敏感性较低的token使用更低的量化精度。损失函数的设计可能也考虑了量化误差，以进一步优化量化后的模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个LVLM模型上取得了显著的性能提升。例如，在3比特权重量化下，该方法将LLaVA-onevision-7B的平均准确率提高了1.60%，使其与全精度模型的差距缩小到仅1.33%。此外，实验还表明，该方法具有较低的延迟开销，不会显著影响模型的推理速度。

🎯 应用场景

该研究成果可广泛应用于各种需要部署大型视觉语言模型的场景，例如移动设备、边缘计算设备等。通过降低模型的计算和内存开销，可以使这些模型在资源受限的环境中运行，从而实现更广泛的应用。例如，可以用于移动端的智能助手、自动驾驶系统、智能监控系统等。

📄 摘要（原文）

Large Vision Language Models (LVLMs) have achieved remarkable success in a range of downstream tasks that require multimodal interaction, but their capabilities come with substantial computational and memory overhead, which hinders practical deployment. Among numerous acceleration techniques, post-training quantization is a popular and effective strategy for reducing memory cost and accelerating inference. However, existing LVLM quantization methods typically measure token sensitivity at the modality level, which fails to capture the complex cross-token interactions and falls short in quantitatively measuring the quantization error at the token level. As tokens interact within the model, the distinction between modalities gradually diminishes, suggesting the need for fine-grained calibration. Inspired by axiomatic attribution in mechanistic interpretability, we introduce a fine-grained quantization strategy on Quantization-aware Integrated Gradients (QIG), which leverages integrated gradients to quantitatively evaluate token sensitivity and push the granularity from modality level to token level, reflecting both inter-modality and intra-modality dynamics. Extensive experiments on multiple LVLMs under both W4A8 and W3A16 settings show that our method improves accuracy across models and benchmarks with negligible latency overhead. For example, under 3-bit weight-only quantization, our method improves the average accuracy of LLaVA-onevision-7B by 1.60%, reducing the gap to its full-precision counterpart to only 1.33%. The code is available at https://github.com/ucas-xiang/QIG.