QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models

📄 arXiv: 2310.09259v2 📥 PDF

作者: Saleh Ashkboos, Ilia Markov, Elias Frantar, Tingxuan Zhong, Xincheng Wang, Jie Ren, Torsten Hoefler, Dan Alistarh

分类: cs.LG

发布日期: 2023-10-13 (更新: 2023-11-02)

备注: 16 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出QUIK以实现生成大语言模型的4位端到端推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化推理 大语言模型 计算效率 混合量化 GPU优化 自然语言处理 模型压缩

📋 核心要点

  1. 现有方法主要集中在权重量化，未能有效解决计算密集型场景下的推理成本问题。
  2. 本文提出的QUIK方法通过混合量化策略，将权重和激活压缩至4位，兼顾速度与准确性。
  3. 实验结果表明，QUIK在多个模型上实现了最高3.4倍的吞吐量提升，相较于FP16执行显著提高了性能。

📝 摘要（中文）

随着GPT家族的大语言模型（LLMs）日益流行，降低推理成本以实现高效本地计算成为研究热点。然而，现有工作主要集中在仅量化权重上，未能解决计算密集型场景下的推理成本问题。本文首次展示了大多数生成模型（如LLaMA、OPT和Falcon）在权重和激活均量化为4位的情况下，能够实现实际的速度提升，同时保持良好的准确性。我们提出了一种名为QUIK的混合量化策略，压缩大部分权重和激活为4位，同时保留一些异常权重和激活为更高精度。我们的方案专注于计算效率，提供与QUIK格式匹配的GPU内核，显著提高了端到端的吞吐量，最高可达FP16执行的3.4倍。代码可在：https://github.com/IST-DASLab/QUIK获取。

🔬 方法详解

问题定义：本文旨在解决生成大语言模型推理中的量化问题，现有方法主要关注权重量化，未能有效应对计算密集型场景的挑战。

核心思路：我们提出了一种混合量化策略QUIK，能够将权重和激活同时压缩至4位，以提高推理速度，同时保持模型的准确性。

技术框架：QUIK的整体架构包括权重和激活的量化模块，以及与之匹配的高效GPU内核，确保在不同层级上实现高效的运行时间。

关键创新：最重要的创新在于首次实现了在4位量化下的高效推理，且通过保留部分异常权重和激活的高精度，解决了传统方法的局限性。

关键设计：在设计中，我们采用了特定的参数设置和损失函数，以确保量化后的模型在推理时仍能保持较高的准确性，同时优化了GPU内核以适应QUIK格式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，QUIK在多个生成模型上实现了高达3.4倍的吞吐量提升，相较于FP16执行，显著提高了计算效率。这一成果为大语言模型的实际应用提供了新的可能性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过降低推理成本，QUIK可以使得大语言模型在资源受限的环境中更为高效地运行，推动智能助手和自动化内容生成等应用的发展。

📄 摘要（原文）

Large Language Models (LLMs) from the GPT family have become extremely popular, leading to a race towards reducing their inference costs to allow for efficient local computation. Yet, the vast majority of existing work focuses on weight-only quantization, which can reduce runtime costs in the memory-bound one-token-at-a-time generative setting, but does not address them in compute-bound scenarios, such as batched inference or prompt processing. In this paper, we address the general quantization problem, where both weights and activations should be quantized. We show, for the first time, that the majority of inference computations for large generative models such as LLaMA, OPT, and Falcon can be performed with both weights and activations being cast to 4 bits, in a way that leads to practical speedups, while at the same time maintaining good accuracy. We achieve this via a hybrid quantization strategy called QUIK, which compresses most of the weights and activations to 4-bit, while keeping some outlier weights and activations in higher-precision. The key feature of our scheme is that it is designed with computational efficiency in mind: we provide GPU kernels matching the QUIK format with highly-efficient layer-wise runtimes, which lead to practical end-to-end throughput improvements of up to 3.4x relative to FP16 execution. We provide detailed studies for models from the OPT, LLaMA-2 and Falcon families, as well as a first instance of accurate inference using quantization plus 2:4 sparsity. Code is available at: https://github.com/IST-DASLab/QUIK.