SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs

📄 arXiv: 2512.05409v1 📥 PDF

作者: Ruixuan Huang, Hao Zeng, Hantao Huang, Jinyuan Shi, Minghui Yu, Ian En-Hsu Yen, Shuai Wang

分类: cs.CL

发布日期: 2025-12-05

💡 一句话要点

提出SQ-format：一种统一的稀疏量化硬件友好型LLM数据格式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 后训练量化 稀疏化 低比特量化 硬件加速 数据格式 AI加速器

📋 核心要点

  1. 现有低比特量化和稀疏化方法在LLM上难以兼顾精度与效率，受限于硬件支持，例如W4A8无法超越W8A8的性能。
  2. 提出SQ-format，一种统一的稀疏量化数据格式，旨在充分利用高精度稀疏矩阵和低精度矩阵乘法的加速潜力，实现性能和吞吐量的平衡。
  3. 实验结果表明，SQ-format实现了最先进的PTQ性能，并为下一代AI加速器的设计提供了硬件需求和设计思路。

📝 摘要（中文）

后训练量化(PTQ)在大型语言模型(LLM)的普及中起着至关重要的作用。然而，由于硬件支持的限制，现有的低比特量化和稀疏化技术难以平衡精度和效率。例如，W4A8只能达到与W8A8相同的峰值TOPS，而GPU支持的稀疏数据格式(2:4半结构化稀疏)由于精度损失很少被采用。为了弥合这一差距，本文提出了一种稀疏量化格式(SQ-format)，这是一种统一的量化和稀疏化数据格式，可能很容易被新的硬件和现有的GPU支持。SQ-format利用了高精度可以加速稀疏矩阵，低精度矩阵乘法也可以相应加速这一事实。因此，提出SQ-format以实现性能和吞吐量之间的帕累托改进。这种格式特别适用于具有异常值不平等状态的激活，并使其静态压缩成为可能。我们展示了SQ-format的最先进的PTQ性能，提出了支持它所需的硬件，并进一步为下一代AI加速器提供了设计探索和见解。

🔬 方法详解

问题定义：现有的大型语言模型后训练量化(PTQ)方法，在低比特量化和稀疏化时，难以在精度和效率之间取得平衡。现有的硬件支持不足是主要瓶颈，例如W4A8量化方法在GPU上的实际加速效果并不理想，而2:4半结构化稀疏等方法又会带来较大的精度损失。因此，需要一种新的数据格式，能够更好地利用硬件加速能力，同时保持较高的模型精度。

核心思路：SQ-format的核心思路是结合稀疏化和量化的优点，设计一种统一的数据格式，使其既能利用稀疏矩阵在高精度计算上的加速优势，又能利用低精度矩阵乘法带来的效率提升。该格式特别针对激活值中存在的异常值问题，通过静态压缩的方式进行优化，从而提升整体性能。

技术框架：SQ-format的整体框架涉及数据格式的定义、量化和稀疏化算法的设计，以及相应的硬件支持方案。具体流程包括：首先，对模型权重或激活值进行量化；然后，应用稀疏化算法，将数据转换为SQ-format；最后，利用专门设计的硬件加速器或GPU上的优化算子进行计算。

关键创新：SQ-format的关键创新在于其统一的数据格式，它将量化和稀疏化有机结合，从而能够更好地适应不同硬件平台的加速特性。此外，针对激活值中的异常值问题，SQ-format采用了静态压缩技术，进一步提升了压缩效率和计算性能。

关键设计：SQ-format的具体设计细节包括：量化比特数的选择（例如4bit、8bit等），稀疏化的比例（例如2:4半结构化稀疏），以及异常值的处理策略。此外，还需要设计相应的硬件加速器或GPU算子，以高效地处理SQ-format的数据。损失函数的设计可能需要考虑量化和稀疏化带来的误差，以保证模型精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了SQ-format，并在实验中展示了其在后训练量化方面的优越性能。具体性能数据和对比基线在摘要中未明确给出，但强调了SQ-format实现了state-of-the-art的PTQ性能，并为下一代AI加速器提供了设计思路。SQ-format旨在实现性能和吞吐量之间的帕累托改进，表明其在精度和效率之间取得了更好的平衡。

🎯 应用场景

SQ-format有望广泛应用于各种需要高效部署大型语言模型的场景，例如移动设备、边缘计算设备和数据中心。通过降低模型的大小和计算复杂度，SQ-format可以显著降低部署成本，提高推理速度，并为资源受限的设备提供更强大的AI能力。该技术还有助于推动AI在自然语言处理、机器翻译、智能客服等领域的应用。

📄 摘要（原文）

Post-training quantization (PTQ) plays a crucial role in the democratization of large language models (LLMs). However, existing low-bit quantization and sparsification techniques are difficult to balance accuracy and efficiency due to the limited hardware support. For example, W4A8 can only achieve the same peak TOPS as W8A8 whereas the GPU-supported sparse data format (2:4 semi-structure sparse) is seldomly adopted due to the loss of accuracy. To bridge this gap, in this paper, we propose the Sparse-Quantized Format (SQ-format), which is a unified data format for quantization and sparsification potentially easily supported by new hardware and existing GPUs. SQ-format makes use of the fact that sparse matrix can be accelerated in high-precision, and low-precision matrix multiplication can also be accelerated accordingly. As such, SQ-format is proposed to achieve Pareto improvement between performance and throughput. This format is particularly suitable for activations with outlier inequality status and makes their static compression possible. We show the state-of-the-art PTQ performance with SQ-format, propose the hardware required to support it, and further offer the design exploration and insights for the next-generation AI accelerators.