CDQuant: Greedy Coordinate Descent for Accurate LLM Quantization

📄 arXiv: 2406.17542v3 📥 PDF

作者: Pranav Ajit Nair, Arun Sai Suggala

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-06-25 (更新: 2024-10-22)

💡 一句话要点

CDQuant：基于贪婪坐标下降的高精度LLM量化方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型量化 后训练量化 贪婪坐标下降 模型压缩 低比特量化

📋 核心要点

  1. 现有LLM量化方法，如GPTQ，在精度和效率上仍有提升空间，尤其是在极低比特量化时。
  2. CDQuant采用贪婪坐标下降策略，逐层优化量化权重，最小化重建误差，提升量化精度。
  3. 实验表明，CDQuant在Gemma和PaLM2模型上优于GPTQ，并能提升QuIP和FrameQuant等方法的性能。

📝 摘要（中文）

大型语言模型(LLM)在各种语言任务中表现出卓越的性能。然而，它们的部署常常受到其巨大的计算和存储需求的限制。量化已成为解决这一挑战的关键技术，能够在对性能影响最小的情况下压缩大型模型。最近的GPTQ算法，一种后训练量化(PTQ)方法，已被证明在压缩LLM方面非常有效，引发了一系列以GPTQ为核心组件的研究。认识到GPTQ在PTQ领域中的关键作用，我们引入了CDQuant，一种简单且可扩展的GPTQ替代方案，具有更高的性能。CDQuant使用贪婪坐标下降来最小化层级的重建损失，以实现高质量的量化权重。我们的算法易于实现，并且可以有效地扩展到具有数千亿参数的模型。我们对Gemma和PaLM2模型系列进行了广泛的评估，并证明CDQuant在2-4位权重量化方面始终优于GPTQ。此外，当用作QuIP和FrameQuant等最先进的PTQ技术的GPTQ组件的替代品时，CDQuant提高了它们的性能，从而进一步提高了质量。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）的后训练量化（PTQ）问题，特别是如何在极低比特（2-4 bit）量化下，尽可能地保持模型的性能。现有方法，如GPTQ，虽然有效，但在量化精度和效率上仍有提升空间，尤其是在处理更大规模的模型时，计算复杂度较高。

核心思路：CDQuant的核心思路是使用贪婪坐标下降算法来优化量化后的权重。具体来说，它逐层地最小化量化前后的重建误差。通过迭代地调整每个权重的值，使得量化后的模型尽可能地逼近原始模型，从而降低量化带来的性能损失。

技术框架：CDQuant的整体框架是层级的。对于LLM的每一层，算法执行以下步骤：1. 初始化量化权重。2. 使用贪婪坐标下降算法迭代优化量化权重，最小化重建误差。3. 将优化后的量化权重应用于模型。这个过程重复应用于模型的每一层。

关键创新：CDQuant的关键创新在于使用贪婪坐标下降算法来优化量化权重。与GPTQ相比，CDQuant的算法更简单，更容易实现，并且在某些情况下可以达到更高的量化精度。此外，CDQuant可以作为GPTQ的替代组件，集成到其他PTQ方法中，进一步提升它们的性能。

关键设计：CDQuant的关键设计包括：1. 使用层级的量化方法，逐层优化量化权重。2. 使用贪婪坐标下降算法，迭代地调整每个权重的值，最小化重建误差。3. 算法的实现简单高效，可以扩展到具有数千亿参数的模型。4. 损失函数为量化前后模型输出的均方误差。

📊 实验亮点

CDQuant在Gemma和PaLM2模型系列上进行了广泛的评估，实验结果表明，CDQuant在2-4位权重量化方面始终优于GPTQ。例如，在某些模型上，CDQuant可以将量化模型的精度提高1-2个百分点。此外，CDQuant还可以作为GPTQ的替代组件，集成到QuIP和FrameQuant等其他PTQ方法中，进一步提升它们的性能。

🎯 应用场景

CDQuant可应用于各种需要部署大型语言模型的场景，例如移动设备、边缘计算设备和资源受限的服务器。通过降低模型的存储空间和计算需求，CDQuant使得在这些平台上部署LLM成为可能，从而推动LLM在更广泛的应用场景中的落地，例如智能助手、机器翻译和内容生成。

📄 摘要（原文）

Large language models (LLMs) have recently demonstrated remarkable performance across diverse language tasks. But their deployment is often constrained by their substantial computational and storage requirements. Quantization has emerged as a key technique for addressing this challenge, enabling the compression of large models with minimal impact on performance. The recent GPTQ algorithm, a post-training quantization (PTQ) method, has proven highly effective for compressing LLMs, sparking a wave of research that leverages GPTQ as a core component. Recognizing the pivotal role of GPTQ in the PTQ landscape, we introduce CDQuant, a simple and scalable alternative to GPTQ with improved performance. CDQuant uses greedy coordinate descent to minimize the layer-wise reconstruction loss to achieve high-quality quantized weights. Our algorithm is easy to implement and scales efficiently to models with hundreds of billions of parameters. We perform extensive evaluation on Gemma, and PaLM2 model families, and demonstrate that CDQuant consistently outperforms GPTQ in 2-4 bit weight quantization. Moreover, CDQuant improves the performance of state-of-the-art PTQ techniques such as QuIP and FrameQuant when used as a replacement for their GPTQ component, resulting in further gains in quality.