Understanding LLM Quantization through Activation-Guided Compensation and Orthogonal Residuals
作者: Yamato Narita, Issei Sato
分类: cs.LG
发布日期: 2026-09-18
备注: 19 pages, 1 figure
💡 一句话要点
通过激活引导补偿和正交残差提出LLM量化新方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 量化技术 激活补偿 正交残差 大型语言模型 内存优化 推理成本 模型压缩
📋 核心要点
- 现有的量化方法在处理激活异常值时效果不佳，导致量化分辨率降低，影响模型性能。
- 论文提出了一种通过激活引导的权重补偿和正交残差分解量化误差的新方法，以明确误差成分的处理方式。
- 实验结果显示，该方法在多个模型上实现了与传统梯度训练方法相当的性能，验证了其有效性。
📝 摘要（中文）
后训练权重-激活量化能够降低大型语言模型的内存和推理成本，但激进的W4A4量化仍然面临挑战，因为激活异常值会降低有效量化分辨率。虽然权重优化、通道缩放和正交旋转可以缓解此问题，但它们所解决的误差成分及其关系仍不明确。本文通过对局部权重-激活量化误差的精确分解，提出了一种激活引导的权重补偿项和正交残差的框架，明确了哪些误差成分可以通过权重补偿解决，哪些需要设计变换。我们利用残差界限推导了随机Hadamard旋转、符号选择和通道缩放的实际应用指南，并通过无反向传播配置在八个Llama和Mistral模型上进行评估，取得了与梯度训练的SpinQuant相当的性能。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在后训练量化过程中，由于激活异常值导致的量化分辨率降低的问题。现有方法如权重优化和通道缩放在处理这些异常值时存在局限性。
核心思路：通过对局部权重-激活量化误差进行精确分解，提出激活引导的权重补偿和正交残差的框架，以明确不同误差成分的处理方式。这样的设计有助于更好地理解和优化量化过程。
技术框架：整体方法包括误差分解、残差界限推导和实际应用指南三个主要模块。首先，通过误差分解识别关键成分；其次，推导出残差界限；最后，基于这些界限提出具体的量化策略。
关键创新：最重要的创新点在于通过精确的误差分解，明确了权重补偿和变换设计的不同角色。这与现有方法的模糊处理方式形成鲜明对比。
关键设计：在参数设置上，采用了随机Hadamard旋转和符号选择策略，结合通道缩放，确保了量化过程中的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在八个Llama和Mistral模型上实现了与梯度训练的SpinQuant相当的性能，验证了随机Hadamard旋转和符号选择的有效性，提升了量化模型的整体表现。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等大型语言模型的优化。通过降低内存和推理成本，能够使这些模型在资源受限的环境中更具可用性，推动AI技术的普及与应用。
📄 摘要（原文）
Post-training weight-activation quantization reduces the memory and inference costs of large language models, but aggressive W4A4 quantization remains difficult because activation outliers degrade effective quantization resolution. Although weight optimization, channel-wise scaling, and orthogonal rotation mitigate this problem, the error components they address and their relationship remain unclear. Using an exact decomposition of local weight-activation quantization error into an activation-guided weight compensation term and an orthogonal residual, we bound the residual using persistent channel-wise outlier and regular activation quantities. This decomposition clarifies which error components can be addressed by weight compensation and which require transformation design. We then use the residual bounds to derive practical guidelines for applying randomized Hadamard rotation, sign selection, and channel scaling. In particular, the analysis explains how random signs suppress constructive interference among persistent outlier channels, how sampling multiple sign patterns can improve transformation selection, and how second-moment balancing leads to an $L_2$ scaling rule while a further relaxation recovers SmoothQuant-style $L_\infty$ scaling. We evaluate these guidelines through backpropagation-free configurations across eight Llama and Mistral models, obtaining performance competitive with gradient-trained SpinQuant.