Scaling Law for Quantization-Aware Training

📄 arXiv: 2505.14302v1 📥 PDF

作者: Mengzhao Chen, Chaoyi Zhang, Jing Liu, Yutao Zeng, Zeyue Xue, Zhiheng Liu, Yunshui Li, Jin Ma, Jie Huang, Xun Zhou, Ping Luo

分类: cs.LG, cs.CL

发布日期: 2025-05-20

备注: A unified scaling law for QAT that models quantization error as a function of model size, training data volume, and quantization group size

💡 一句话要点

提出面向量化感知训练的统一缩放定律，揭示W4A4量化误差来源并优化模型性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化感知训练 缩放定律 大型语言模型 模型压缩 W4A4量化

📋 核心要点

  1. 现有量化感知训练（QAT）缩放定律忽略了训练数据量和量化粒度等关键因素，导致适用性受限。
  2. 论文提出统一的QAT缩放定律，将量化误差建模为模型大小、训练数据量和量化组大小的函数。
  3. 实验表明，量化误差随模型增大而减小，随训练数据增多和量化粒度变粗而增加，并分析了权重和激活量化误差的不同敏感性。

📝 摘要（中文）

大型语言模型（LLMs）对计算和内存资源的需求巨大，给部署带来了挑战。量化感知训练（QAT）通过降低模型精度同时保持性能来解决这些挑战。然而，QAT的缩放行为，尤其是在4位精度（W4A4）下，尚未被充分理解。现有的QAT缩放定律通常忽略了诸如训练tokens数量和量化粒度等关键因素，限制了其适用性。本文提出了一种统一的QAT缩放定律，该定律将量化误差建模为模型大小、训练数据量和量化组大小的函数。通过268个QAT实验，我们表明量化误差随着模型大小的增加而减小，但随着训练tokens的增加和量化粒度的变粗而增加。为了识别W4A4量化误差的来源，我们将其分解为权重和激活组件。这两个组件都遵循W4A4量化误差的总体趋势，但具有不同的敏感性。具体而言，权重量化误差随着训练tokens的增加而更快地增加。进一步的分析表明，由异常值引起的FC2层中的激活量化误差是W4A4 QAT量化误差的主要瓶颈。通过应用混合精度量化来解决这个瓶颈，我们证明了权重和激活量化误差可以收敛到相似的水平。此外，随着更多训练数据的使用，权重量化误差最终超过激活量化误差，这表明在这种情况下，减少权重量化误差也很重要。这些发现为改进QAT研究和开发提供了关键见解。

🔬 方法详解

问题定义：论文旨在解决现有量化感知训练（QAT）缩放定律的不足，特别是针对4位量化（W4A4）精度下，忽略训练tokens数量和量化粒度等关键因素的问题。现有方法无法准确预测和优化量化模型的性能，限制了其在资源受限环境中的部署。

核心思路：论文的核心思路是将量化误差建模为模型大小、训练数据量和量化组大小的函数，从而建立一个统一的QAT缩放定律。通过分析权重和激活量化误差的来源和敏感性，找到影响W4A4量化误差的关键瓶颈，并提出相应的优化策略。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 构建统一的QAT缩放定律模型，考虑模型大小、训练数据量和量化组大小等因素；2) 进行大量的QAT实验（268个）来验证和校准缩放定律；3) 将W4A4量化误差分解为权重和激活组件，分析各自的敏感性；4) 识别激活量化误差的主要来源（FC2层中的异常值）；5) 应用混合精度量化来解决激活量化误差瓶颈，并评估其效果。

关键创新：论文最重要的技术创新点在于提出了一个统一的QAT缩放定律，该定律能够更准确地预测和优化量化模型的性能。与现有方法相比，该定律考虑了更多的关键因素，如训练数据量和量化粒度，并深入分析了权重和激活量化误差的来源和敏感性。此外，通过识别激活量化误差的主要瓶颈（FC2层中的异常值），并提出混合精度量化解决方案，进一步提升了W4A4量化模型的性能。

关键设计：论文的关键设计包括：1) 量化误差的建模方式，将其表示为模型大小、训练数据量和量化组大小的函数；2) 大规模的QAT实验设计，用于验证和校准缩放定律；3) 权重和激活量化误差的分解和分析方法，用于识别误差来源和敏感性；4) 混合精度量化策略，用于解决激活量化误差瓶颈。具体的参数设置、损失函数和网络结构等细节可能与具体的实验设置有关，论文中可能没有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，量化误差随着模型大小的增加而减小，但随着训练tokens的增加和量化粒度的变粗而增加。通过混合精度量化，权重和激活量化误差可以收敛到相似的水平。此外，随着更多训练数据的使用，权重量化误差最终超过激活量化误差，表明减少权重量化误差也很重要。这些发现为改进QAT研究和开发提供了关键见解。

🎯 应用场景

该研究成果可应用于各种需要部署在资源受限环境中的大型语言模型，例如移动设备、边缘计算设备等。通过优化量化策略，可以在保证模型性能的同时，显著降低模型的计算和存储成本，加速LLM的普及和应用。未来的研究可以进一步探索更高效的量化方法和更精细的缩放定律，以实现更高的模型压缩率和更好的性能。

📄 摘要（原文）

Large language models (LLMs) demand substantial computational and memory resources, creating deployment challenges. Quantization-aware training (QAT) addresses these challenges by reducing model precision while maintaining performance. However, the scaling behavior of QAT, especially at 4-bit precision (W4A4), is not well understood. Existing QAT scaling laws often ignore key factors such as the number of training tokens and quantization granularity, which limits their applicability. This paper proposes a unified scaling law for QAT that models quantization error as a function of model size, training data volume, and quantization group size. Through 268 QAT experiments, we show that quantization error decreases as model size increases, but rises with more training tokens and coarser quantization granularity. To identify the sources of W4A4 quantization error, we decompose it into weight and activation components. Both components follow the overall trend of W4A4 quantization error, but with different sensitivities. Specifically, weight quantization error increases more rapidly with more training tokens. Further analysis shows that the activation quantization error in the FC2 layer, caused by outliers, is the primary bottleneck of W4A4 QAT quantization error. By applying mixed-precision quantization to address this bottleneck, we demonstrate that weight and activation quantization errors can converge to similar levels. Additionally, with more training data, weight quantization error eventually exceeds activation quantization error, suggesting that reducing weight quantization error is also important in such scenarios. These findings offer key insights for improving QAT research and development.