SubRot: Signed Gradient Subspace Calibration for VLM Rotation Quantization

📄 arXiv: 2609.34884v1 📥 PDF

作者: Zhenhao Shang, Haizhao Jing, Haokui Zhang, Guoting Wei, Rong Xiao, Jianqing Gao, Peng Wang

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出SubRot以解决VLM旋转量化中的多模态能力保持问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 后训练量化 多模态能力 梯度统计 敏感性分离 量化误差 深度学习 模型优化

📋 核心要点

  1. 现有的后训练量化方法在低比特宽度下难以保持视觉语言模型的多模态能力，受限于梯度统计的稳定性。
  2. SubRot通过对激活梯度的经验Fisher矩阵进行特征分解，提出了一种新的有符号梯度子空间校准方法，旨在提高量化的稳定性和敏感性分离。
  3. 在五个基准测试上，SubRot在W4A6和W4A4条件下相较于FlatQuant实现了平均得分的显著提升，LLaVA-NeXT-7B模型提高了1.4个百分点。

📝 摘要（中文）

后训练量化降低了视觉语言模型（VLM）的部署成本，但在低比特宽度下保持多模态能力仍然具有挑战性。现有方法依赖于模态或标记级别的梯度统计，这些统计受视觉与文本标记比例及视觉信息位置的跨样本变化影响，限制了统计的稳定性。此外，过于粗糙的绝对值和平均聚合会丢失梯度符号和通道间差异，限制了模态特定敏感性的分离。为此，本文提出SubRot，一种用于VLM旋转量化的有符号梯度子空间校准方法。通过对激活梯度的经验Fisher矩阵进行特征分解，SubRot识别出具有跨样本稳定性、清晰敏感性分离和一致符号效应的敏感通道子空间。SubRot结合了沿符号稳定方向的有符号一阶引导和沿其余敏感方向的二阶约束，同时保留均方误差（MSE）以确保整体重建质量。

🔬 方法详解

问题定义：本文旨在解决在低比特宽度下保持视觉语言模型（VLM）多模态能力的挑战。现有方法依赖的梯度统计受跨样本变化影响，导致统计不稳定，且对敏感性分离的处理不够精细。

核心思路：SubRot的核心思路是通过对激活梯度的经验Fisher矩阵进行特征分解，识别出一个敏感通道子空间，从而在量化过程中保持跨样本的稳定性和敏感性分离。该方法结合了一阶和二阶约束，以引导量化误差朝向减少损失的方向。

技术框架：SubRot的整体架构包括三个主要模块：首先，通过特征分解获取敏感通道子空间；其次，利用局部泰勒展开进行一阶和二阶约束的结合；最后，保留均方误差（MSE）以确保重建质量。

关键创新：SubRot的创新在于引入了有符号梯度的子空间校准方法，与现有方法相比，它能够更好地捕捉任务敏感结构，并在量化过程中保持敏感性分离。

关键设计：在设计中，SubRot采用了局部泰勒展开来结合一阶和二阶约束，确保在符号稳定方向上的引导，同时控制量化误差的幅度，确保整体重建质量不受影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SubRot在五个视觉语言模型上均表现出色，特别是在W4A6和W4A4条件下，相较于FlatQuant实现了平均得分的显著提升，LLaVA-NeXT-7B模型提高了1.4个百分点，LLaVA-v1.5-13B模型的得分超越FP16平均值0.4个百分点，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括视觉语言模型的优化部署，尤其是在资源受限的环境中，如移动设备和边缘计算。SubRot方法的有效性可能推动更高效的多模态AI系统的发展，提升其在实际应用中的表现和可靠性。

📄 摘要（原文）

Post-training quantization reduces the deployment cost of vision-language models (VLMs), but preserving multimodal capabilities at low bit widths remains challenging. Existing methods rely on modality- or token-level gradient statistics, which are susceptible to cross-sample variations in visual-to-textual token ratios and the positions of visual information, limiting statistical stability. Moreover, overly coarse aggregation through absolute values and averaging discards gradient signs and channel-wise differences, limiting the separation of modality-specific sensitivities. In contrast, the channel space provides a shared coordinate system across samples, making it a more natural basis for capturing stable task-sensitive structures. We therefore propose SubRot, a signed gradient subspace calibration method for VLM rotation quantization. Through eigendecomposition of the empirical Fisher matrix of activation gradients, SubRot identifies a sensitive channel subspace with three properties: cross-sample stability, clear sensitivity separation, and consistent signed effects on the autoregressive loss along certain directions. Guided by a local Taylor expansion, SubRot combines signed first-order guidance along sign-stable directions with second-order constraints along the remaining sensitive directions, while retaining MSE for overall reconstruction quality. This objective steers quantization errors toward loss-decreasing directions while controlling their magnitude. Experiments on five VLMs across five benchmarks show consistent average-score improvements over FlatQuant under W4A6 and W4A4, reaching 1.4 percentage points on LLaVA-NeXT-7B. Under W4A4, average accuracy degradation from FP16 remains within 1.4 percentage points across all evaluated models, while LLaVA-v1.5-13B exceeds its FP16 average score by 0.4 percentage points.