QQQ: Quality Quattuor-Bit Quantization for Large Language Models

📄 arXiv: 2406.09904v3 📥 PDF

作者: Ying Zhang, Peng Zhang, Mincong Huang, Jingyang Xiang, Yujie Wang, Chao Wang, Yineng Zhang, Lei Yu, Chuan Liu, Wei Lin

分类: cs.LG

发布日期: 2024-06-14 (更新: 2024-07-31)

💡 一句话要点

QQQ：面向大语言模型的高质量四比特量化，加速推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 量化 四比特量化 模型压缩 推理加速

📋 核心要点

  1. 现有量化方法在加速LLM推理的预填充和解码阶段存在瓶颈，W4A8虽有潜力但性能损失大。
  2. QQQ通过自适应平滑和Hessian补偿，在不进行大量训练的情况下，提升W4A8量化模型的性能。
  3. 实验表明，QQQ在保持性能的同时，显著加速推理，优于FP16、W8A8和W4A16等基线方法。

📝 摘要（中文）

量化是压缩大型语言模型的有效方法。虽然W8A8和W4A16等技术能有效保持模型性能，但它们通常无法同时加速推理的预填充和解码阶段。W4A8是一种有希望加速这两个阶段的策略，但通常会导致显著的性能下降。为了解决这些问题，我们提出了QQQ，一种具有4比特权重和8比特激活的高质量四比特量化方法。QQQ采用自适应平滑和基于Hessian的补偿，显著提高了量化模型的性能，而无需进行广泛的训练。此外，我们精心设计了W4A8 GEMM内核，以提高推理速度。我们专门的逐通道W4A8 GEMM和逐组W4A8 GEMM实现了比FP16 GEMM分别高3.67倍和3.29倍的惊人速度提升。大量的实验表明，QQQ在性能上与现有的最先进的LLM量化方法相当，同时显著加速了推理，与FP16、W8A8和W4A16相比，分别实现了高达2.24倍、2.10倍和1.25倍的速度提升。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）量化后推理速度慢的问题，尤其是在预填充和解码阶段。现有的W8A8和W4A16量化方法虽然能保持模型性能，但无法同时加速这两个阶段。W4A8量化虽然有潜力加速，但通常会导致显著的性能下降，难以在性能和速度之间取得平衡。

核心思路：论文的核心思路是通过高质量的四比特量化（QQQ），即4比特权重和8比特激活，结合自适应平滑和Hessian补偿技术，来提升量化模型的性能，同时优化W4A8 GEMM内核以加速推理。这样设计的目的是在保证模型性能的前提下，充分利用W4A8量化带来的速度优势。

技术框架：QQQ方法的整体框架包括三个主要部分：首先是对模型进行W4A8量化；然后应用自适应平滑技术来减少量化误差；接着使用基于Hessian的补偿方法进一步提升模型精度；最后，针对W4A8量化后的模型，设计并优化GEMM内核，以加速推理过程。

关键创新：论文的关键创新在于结合了自适应平滑和Hessian补偿技术，显著提升了W4A8量化模型的性能。与传统的量化方法相比，QQQ能够在较低的比特数下保持较高的模型精度，从而实现更快的推理速度。此外，针对W4A8量化专门设计的GEMM内核也是一个重要的创新点。

关键设计：自适应平滑的具体实现细节未知，但其目标是根据不同层或权重的敏感度，动态调整平滑程度。Hessian补偿的具体计算方法也未知，但其目的是利用Hessian矩阵的信息来校正量化误差。W4A8 GEMM内核的设计重点在于优化内存访问模式和计算顺序，以充分利用硬件资源，提高计算效率。论文中提到了per-channel和per-group两种GEMM实现方式，具体分组策略和通道选择方法未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

QQQ方法在性能上与现有的最先进的LLM量化方法相当，同时显著加速了推理，与FP16、W8A8和W4A16相比，分别实现了高达2.24倍、2.10倍和1.25倍的速度提升。专门设计的逐通道W4A8 GEMM和逐组W4A8 GEMM实现了比FP16 GEMM分别高3.67倍和3.29倍的速度提升。

🎯 应用场景

该研究成果可广泛应用于需要快速部署和低延迟的大型语言模型应用场景，例如移动设备上的智能助手、边缘计算环境下的自然语言处理服务等。通过降低模型大小和加速推理速度，可以有效降低计算成本，并提升用户体验，促进LLM在资源受限环境下的普及。

📄 摘要（原文）

Quantization is a proven effective method for compressing large language models. Although popular techniques like W8A8 and W4A16 effectively maintain model performance, they often fail to concurrently speed up the prefill and decoding stages of inference. W4A8 is a promising strategy to accelerate both of them while usually leads to a significant performance degradation. To address these issues, we present QQQ, a Quality Quattuor-bit Quantization method with 4-bit weights and 8-bit activations. QQQ employs adaptive smoothing and Hessian-based compensation, significantly enhancing the performance of quantized models without extensive training. Furthermore, we meticulously engineer W4A8 GEMM kernels to increase inference speed. Our specialized per-channel W4A8 GEMM and per-group W4A8 GEMM achieve impressive speed increases of 3.67$\times$ and 3.29 $\times$ over FP16 GEMM. Our extensive experiments show that QQQ achieves performance on par with existing state-of-the-art LLM quantization methods while significantly accelerating inference, achieving speed boosts up to 2.24 $\times$, 2.10$\times$, and 1.25$\times$ compared to FP16, W8A8, and W4A16, respectively.