Power-of-Two Quantization-Aware-Training (PoT-QAT) in Large Language Models (LLMs)

📄 arXiv: 2601.02298v1 📥 PDF

作者: Mahmoud Elgenedy

分类: cs.CL, eess.SP

发布日期: 2026-01-05

💡 一句话要点

提出面向LLM的二次幂量化感知训练(PoT-QAT)以加速边缘设备推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 二次幂量化 量化感知训练 大型语言模型 边缘计算 模型压缩

📋 核心要点

  1. 大型语言模型参数量巨大，给边缘设备的部署带来挑战，因为边缘设备的计算和存储资源受限。
  2. 论文提出二次幂量化（PoT）方法，将权重限制为2的幂，用位移操作代替乘法，降低计算复杂度。
  3. 通过量化感知训练（QAT）补偿量化带来的精度损失。实验表明，该方法在GPT-2上取得了显著的性能提升。

📝 摘要（中文）

近年来，大型语言模型（LLM）的参数数量呈指数增长，从GPT-2的15亿到GPT-3的1750亿，甚至更高版本可能超过万亿。这对部署提出了重大挑战，尤其是在边缘设备上。与云计算不同，边缘设备的内存和处理能力非常有限，因此需要开发新的方法来实现这些应用。本文研究了一种特殊的量化方法来压缩权重，该方法将数值限制为仅为二次幂（PoT）。这有助于节省大量内存，因为只需要存储指数。更重要的是，它通过用低成本的位移操作替换高成本的乘法运算，从而显著降低了处理能力。为了克服这种严格量化带来的性能损失，我们研究了量化感知训练（QAT），通过额外的训练来提高性能。在GPT-2 124M上的结果表明，经过额外训练后，量化的PoT模型得到了显著增强，困惑度提高了66%，BERT-Score相对于基线GPT-2的损失为1%。据估计，内存节省为87.5%，而与全精度相比，PoT量化的推理速度预计快3-10倍。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在资源受限的边缘设备上部署的问题。现有方法，如直接量化，会导致显著的精度损失，而传统的压缩方法可能无法充分利用边缘设备的特性进行优化。因此，如何在保证模型性能的同时，显著降低模型大小和计算复杂度，是本文要解决的核心问题。

核心思路：论文的核心思路是采用二次幂（Power-of-Two, PoT）量化，将模型权重限制为2的幂。这样做的目的是将乘法运算转化为位移操作，从而显著降低计算复杂度，提高推理速度。同时，为了弥补量化带来的精度损失，采用量化感知训练（QAT）对模型进行微调。

技术框架：整体框架包括三个主要步骤：1) PoT量化：将模型权重四舍五入到最接近的2的幂。2) 量化感知训练（QAT）：在训练过程中模拟量化操作，使模型适应量化后的权重分布。3) 推理：使用量化后的模型进行推理，利用位移操作加速计算。

关键创新：最重要的创新点在于将PoT量化与QAT相结合，在显著降低计算复杂度的同时，保持了较高的模型精度。与传统的量化方法相比，PoT量化更适合利用硬件加速，例如通过位移操作实现快速计算。

关键设计：关键设计包括：1) 量化函数：定义如何将权重映射到最接近的2的幂。2) QAT训练策略：在训练过程中，模拟量化操作，并使用量化后的权重进行前向传播和反向传播。3) 损失函数：使用标准的交叉熵损失函数，并可能结合正则化项，以防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在GPT-2 124M模型上，使用PoT-QAT后，困惑度降低了66%，BERT-Score相对于基线GPT-2的损失仅为1%。同时，内存占用减少了87.5%，推理速度预计提高3-10倍。这些结果表明，PoT-QAT是一种有效的LLM压缩和加速方法。

🎯 应用场景

该研究成果可广泛应用于边缘设备上的大型语言模型部署，例如智能手机、物联网设备和自动驾驶汽车等。通过降低模型大小和计算复杂度，可以使这些设备能够运行更复杂的LLM，从而实现更智能的应用，例如本地化的自然语言处理、实时翻译和智能助手等。该方法还有助于降低云计算成本，提高能源效率。

📄 摘要（原文）

In Large Language Models (LLMs), the number of parameters has grown exponentially in the past few years, e.g., from 1.5 billion parameters in GPT-2 to 175 billion in GPT-3 to possibly more than trillion in higher versions. This raises a significant challenge for implementation, especially for Edge devices. Unlike cloud computing, memory and processing power for Edge devices are very limited, which necessitates developing novel ideas to make such applications feasible. In this work, we investigate compressing weights with a special quantization that limits numbers to only power-of-two (PoT). This helps save a huge amount of memory as only exponents need to be stored, more importantly, it significantly reduces processing power by replacing costly multiplication with low cost bit shifting. To overcome performance loss due to this strict quantization, we investigate Quantization Aware Training (QAT) to enhance performance through additional training. Results on GPT-2 124M show a major enhancement for quantized PoT model after additional training, with a perplexity enhancement of 66% and BERT-Score loss to baseline GPT-2 of 1%. The memory saving is estimated to be 87.5% while the inference speed is expected to be 3-10x faster with PoT quantization versus full-precision.