SPHQuant: Efficient extreme low bit weight quantization for Vision-Language Models

📄 arXiv: 2609.24875v1 📥 PDF

作者: Kewei Zhang, Zheng Chen, Haotong Qin, Yulun Zhang

分类: cs.CV

发布日期: 2026-09-21

备注: 16 pages, 5 figures, including appendix. Code will be released at https://github.com/Pushazf/SPHQuant

🔗 代码/项目: GITHUB

💡 一句话要点

提出SPHQuant以解决极低比特宽度量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 极低比特量化 视觉-语言模型 多模态AI 权重量化 边缘计算 解码效率 异常值处理

📋 核心要点

  1. 现有的极低比特宽度量化方法在处理异常值时表现不佳，导致准确性下降。
  2. SPHQuant通过将权重向量分解为坐标符号、半径和正单位方向，采用无旋转的量化方式，提升了量化效果。
  3. 实验结果显示，SPHQuant在解码吞吐量上较QTIP提高了30.3%，并且与现有最先进的方法性能相当。

📝 摘要（中文）

近年来，基础模型逐渐向原生多模态视觉-语言模型（VLMs）发展，但由于其庞大的语言骨干网络，边缘部署面临高内存占用和内存限制的自回归解码问题。尽管权重后训练量化是一种实用解决方案，但将VLM推向极低比特宽度仍然具有挑战性。现有的无旋转方法在2-3比特时容易受到异常值影响，而基于旋转的方法虽然提高了准确性，却增加了运行时开销。为此，本文提出了SPHQuant，一个无旋转的球面权重量化框架，通过将每个8D权重向量分解为坐标符号、半径和正单位方向，来缓解异常值带来的准确性下降。实验表明，SPHQuant在保持性能的同时，解码吞吐量较QTIP提高了30.3%。

🔬 方法详解

问题定义：本文旨在解决极低比特宽度量化在视觉-语言模型中的应用问题，现有方法在处理异常值时准确性下降，且旋转方法增加了运行时开销。

核心思路：SPHQuant的核心思路是将权重向量分解为坐标符号、半径和正单位方向，从而将异常值的影响隔离到半径部分，保持方向的稳定性和统计规律性。

技术框架：SPHQuant的整体架构包括权重分解、半径精度分配、正方向代码本的构建以及通过角度参数化进行微调的过程。

关键创新：SPHQuant的主要创新在于采用无旋转的球面量化方法，避免了现有方法在极低比特宽度下的准确性损失，同时减少了运行时开销。

关键设计：在设计中，SPHQuant为半径分配了额外的精度，并使用紧凑的正方向代码本，确保代码本条目通过角度参数化进行微调，以保持单位球体约束。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，SPHQuant在解码吞吐量上较QTIP提高了30.3%，同时在性能上与现有最先进的极低比特量化方法相当，展示了其在实际应用中的有效性和优势。

🎯 应用场景

SPHQuant的研究成果具有广泛的应用潜力，尤其是在边缘计算和移动设备上部署视觉-语言模型时，可以显著降低内存占用和提高解码效率。这将推动多模态AI应用的发展，如智能助手、自动驾驶和增强现实等领域。

📄 摘要（原文）

Recent foundation models are moving toward native multimodal Vision-Language Models (VLMs), making VLMs a central form of next-generation foundation models. However, their large language backbones make edge deployment difficult due to high memory footprint and memory-bound autoregressive decoding. Weight-only post-training quantization is a practical solution, but pushing VLMs to extreme low bit-widths remains challenging: existing rotation-free methods suffer from outliers at 2-3 bits, while rotation-based methods improve accuracy at the cost of additional runtime overhead. We propose SPHQuant, a rotation-free spherical weight-only quantization framework for VLMs. Instead of quantizing weights directly in Cartesian coordinates, SPHQuant decomposes each 8D weight vector into coordinate signs, radius, and a positive unit direction. This representation isolates outlier magnitude into the radius while keeping directions bounded and statistically regular. Based on this insight, SPHQuant allocates extra precision to the radius to mitigate accuracy degradation induced by outliers. It further uses a compact positive-direction codebook and fine-tunes codebook entries through angular parameterization to preserve the unit-sphere constraint. We also design a hardware-friendly GEMV kernel that keeps the direction codebook small enough for shared-memory lookup and packs radial bits efficiently. Experiments show that SPHQuant matches the performance of state-of-the-art extreme low-bit quantization methods while improving decode throughput over QTIP by 30.3% on RTX A6000. Code will be released in https://github.com/Pushazf/SPHQuant.