G$^2$PTQ: Improving LLM Post-Training Quantization with Generalized Gradient Compensation

📄 arXiv: 2609.31009v1 📥 PDF

作者: Ruikang Liu, Haoli Bai, Yuxuan Sun, Qian Zhang, Wenzheng Cai, Yanqi Hao, Feiyu Wang, Weidong Zhong, Zhuang Wang, Tong Yang, Xiangsheng Zhou

分类: cs.CL, cs.AI

发布日期: 2026-09-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出G$^2$PTQ以解决LLM后训练量化中的梯度滞后问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练量化 大型语言模型 梯度补偿 全局优化 模型压缩 计算效率 Transformer

📋 核心要点

  1. 现有的后训练量化方法在局部和全局目标之间存在权衡，导致量化效果不佳。
  2. G$^2$PTQ通过引入广义梯度补偿，结合一阶和二阶信息，提升了量化过程的全局监督能力。
  3. 实验结果显示，G$^2$PTQ在多个模型和位宽上均优于现有的最先进方法，表现出更好的精度对齐。

📝 摘要（中文）

后训练量化（PTQ）是一种有效减少大型语言模型（LLM）内存和计算开销的方法，无需重新训练。尽管基于GPTQ的方法已成为标准，但仍存在局限性：局部目标缺乏全局监督，而全局目标在量化过程中忽视了梯度信息。本文提出G$^2$PTQ，一个统一的PTQ框架，通过引入广义梯度补偿，结合一阶和二阶信息，采用全局监督的块级优化目标。通过在量化每个Transformer块之前刷新梯度和Hessian估计，G$^2$PTQ避免了先前全局方法的滞后。此外，引入信任区域缩放机制以动态限制梯度步长，防止权重更新爆炸。实验结果表明，G$^2$PTQ在多个模型和位宽上优于现有最先进的基线。

🔬 方法详解

问题定义：本文旨在解决现有后训练量化方法在局部和全局目标之间的权衡问题，导致量化效果不理想，特别是梯度信息的滞后影响了模型性能。

核心思路：G$^2$PTQ的核心思路是通过广义梯度补偿，结合一阶和二阶信息，采用全局监督的块级优化目标，从而在量化过程中实时更新梯度和Hessian估计，避免信息滞后。

技术框架：G$^2$PTQ的整体架构包括数据预处理、块级优化、梯度和Hessian估计更新、量化实施等主要模块。每个Transformer块在量化前都会进行梯度和Hessian的刷新。

关键创新：G$^2$PTQ的主要创新在于引入了广义梯度补偿机制和信任区域缩放，前者使得一阶和二阶信息得以有效结合，后者则防止了权重更新的爆炸，确保了量化过程的稳定性。

关键设计：在参数设置上，G$^2$PTQ采用动态的信任区域缩放机制，确保梯度步长的合理性，同时在损失函数中引入了全局监督的块级优化目标，以提升量化的精度。具体的Hessian近似和梯度补偿实现也经过优化，以提高计算效率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，G$^2$PTQ在多个模型和位宽上均优于现有的最先进基线，具体提升幅度达到X%（具体数据未知），显示出更好的全精度模型对齐效果，验证了其有效性和实用性。

🎯 应用场景

G$^2$PTQ的研究成果在大型语言模型的后训练量化中具有广泛的应用潜力，能够有效降低模型的内存和计算需求，适用于自然语言处理、机器翻译等领域。随着模型规模的不断扩大，该方法的实际价值将愈加显著，推动更高效的AI应用落地。

📄 摘要（原文）

Post-training quantization (PTQ) is a practical approach to reducing the memory and computational footprint of large language models (LLMs) without retraining. GPTQ-based methods have become the de facto standard, yet they suffer from two complementary limitations. Methods with local, layer-wise objectives lack global supervision; while methods with global objectives fix their Hessian estimates at the start and ignore first-order gradients, so their guidance grows stale as quantization proceeds. This paper presents G$^2$PTQ, a unified PTQ framework with Generalized Gradient Compensation that integrates both first- and second-order information under a globally supervised, block-wise optimization objective. By refreshing gradient and Hessian estimates before quantizing each Transformer block, G$^2$PTQ avoids the staleness of prior global methods. Furthermore, to stabilize the exact first-order compensation, we introduce a trust-region scaling mechanism that dynamically bounds the gradient step to prevent exploding weight updates. Finally, we derive efficient implementations for block-wise Hessian approximation and exact gradient compensation. Experimental results on various model families and bit-widths demonstrate that G$^2$PTQ enables better alignment with the full-precision model, outperforming state-of-the-art baselines. Code is available at: https://github.com/G2PTQ/G2PTQ.