FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs

📄 arXiv: 2504.19746v1 📥 PDF

作者: Xilong Xie, Liang Wang, Limin Xiao, Meng Han, Lin Sun, Shuai Zheng, Xiangrong Xu

分类: cs.LG, cs.AR

发布日期: 2025-04-28

备注: DATE 2025

💡 一句话要点

FineQ：面向LLM低比特细粒度混合精度量化的软硬件协同设计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 量化 混合精度量化 软硬件协同设计 低比特量化

📋 核心要点

  1. 现有LLM量化方法在超低比特量化时精度损失严重，且混合精度量化方法粒度粗糙，难以兼顾精度和内存开销。
  2. FineQ通过细粒度聚类和离群值保护机制，在保证模型精度的前提下，有效降低了内存开销。
  3. 实验结果表明，FineQ在相近平均比特宽度下，模型精度优于SOTA方法，且硬件加速器能效提升1.79倍，面积减少61.2%。

📝 摘要（中文）

大型语言模型（LLMs）显著推动了自然语言处理的发展，但也对内存和计算资源提出了巨大需求。量化是降低LLMs内存消耗的最有效方法之一。然而，先进的单精度量化方法在量化到超低比特时会经历显著的精度下降。现有的混合精度量化方法采用粗粒度分组量化。对组数据采用高精度会导致大量的内存开销，而低精度会严重影响模型精度。为了解决这个问题，我们提出了FineQ，一种面向LLM低比特细粒度混合精度量化的软硬件协同设计。首先，FineQ将权重划分为更细粒度的簇，并考虑这些簇内离群值的分布，从而在模型精度和内存开销之间取得平衡。然后，我们提出了一种簇内离群值保护机制，使用3比特来表示离群值，并引入了一种索引和数据连接的编码方案，以实现对齐的内存访问。最后，我们引入了一种利用时间编码的加速器，该加速器有效地支持量化算法，同时简化了脉动阵列中的乘法器。与最先进的混合精度量化算法相比，FineQ在接近的平均比特宽度下实现了更高的模型精度。同时，该加速器实现了高达1.79倍的能源效率，并将脉动阵列的面积减少了61.2%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在超低比特量化时精度显著下降，以及现有混合精度量化方法粒度粗糙导致内存开销大或精度损失严重的问题。现有方法无法在极低比特下实现精度和效率的平衡。

核心思路：论文的核心思路是采用细粒度的混合精度量化策略，并结合软硬件协同设计。通过更精细的权重聚类和离群值保护机制，在保证模型精度的前提下，降低内存占用。同时，设计专用的硬件加速器来高效支持该量化算法。

技术框架：FineQ的整体框架包含三个主要部分：1) 细粒度混合精度量化：将权重划分为更细粒度的簇，并根据簇内离群值的分布确定每个簇的量化精度。2) 离群值保护机制：使用3比特表示簇内的离群值，并设计索引和数据连接的编码方案，以实现对齐的内存访问。3) 硬件加速器：采用时间编码的加速器架构，简化脉动阵列中的乘法器，提高能效。

关键创新：FineQ的关键创新在于：1) 细粒度的混合精度量化策略，能够更精确地控制每个簇的量化精度，从而在精度和内存开销之间取得更好的平衡。2) 针对离群值的保护机制，有效缓解了低比特量化带来的精度损失。3) 软硬件协同设计，通过定制的硬件加速器来高效支持量化算法。与现有方法相比，FineQ在极低比特下实现了更高的精度和能效。

关键设计：在细粒度聚类方面，采用了K-means等聚类算法，并根据簇内权重的分布（例如，离群值的比例）来确定每个簇的量化比特数。离群值保护机制使用3比特来表示离群值，并采用特定的编码方案来对索引和数据进行连接，以保证内存访问的对齐性。硬件加速器采用时间编码，将乘法运算转换为加法运算，从而简化了脉动阵列的设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FineQ在模型精度方面优于SOTA混合精度量化算法，且平均比特宽度相近。硬件加速器实现了高达1.79倍的能源效率提升，并将脉动阵列的面积减少了61.2%。这些结果表明FineQ在降低LLM部署成本和提高效率方面具有显著优势。

🎯 应用场景

FineQ可应用于资源受限的边缘设备或移动设备上部署大型语言模型，例如智能手机、嵌入式系统等。通过降低模型大小和计算复杂度，FineQ能够使这些设备在本地运行LLMs，从而提高响应速度、保护用户隐私，并支持离线应用。

📄 摘要（原文）

Large language models (LLMs) have significantly advanced the natural language processing paradigm but impose substantial demands on memory and computational resources. Quantization is one of the most effective ways to reduce memory consumption of LLMs. However, advanced single-precision quantization methods experience significant accuracy degradation when quantizing to ultra-low bits. Existing mixed-precision quantization methods are quantized by groups with coarse granularity. Employing high precision for group data leads to substantial memory overhead, whereas low precision severely impacts model accuracy. To address this issue, we propose FineQ, software-hardware co-design for low-bit fine-grained mixed-precision quantization of LLMs. First, FineQ partitions the weights into finer-grained clusters and considers the distribution of outliers within these clusters, thus achieving a balance between model accuracy and memory overhead. Then, we propose an outlier protection mechanism within clusters that uses 3 bits to represent outliers and introduce an encoding scheme for index and data concatenation to enable aligned memory access. Finally, we introduce an accelerator utilizing temporal coding that effectively supports the quantization algorithm while simplifying the multipliers in the systolic array. FineQ achieves higher model accuracy compared to the SOTA mixed-precision quantization algorithm at a close average bit-width. Meanwhile, the accelerator achieves up to 1.79x energy efficiency and reduces the area of the systolic array by 61.2%.