QET: Enhancing Quantized LLM Parameters and KV cache Compression through Element Substitution and Residual Clustering

📄 arXiv: 2407.03637v4 📥 PDF

作者: Yanshu Wang, Wang Li, Zhaoqian Yao, Tong Yang

分类: cs.LG, cs.CL

发布日期: 2024-07-04 (更新: 2024-09-06)

💡 一句话要点

提出QET算法，通过元素替换和残差聚类增强量化LLM参数和KV缓存压缩。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 矩阵量化 LLM压缩 KV缓存 量化误差最小化 量子纠缠树 残差量化 模型优化

📋 核心要点

  1. 大型语言模型参数和KV缓存的巨大体积对存储和计算提出了挑战，现有的矩阵量化方法在压缩率和精度之间难以取得平衡。
  2. 论文提出量子纠缠树（QET）算法，通过迭代元素交换形成局部有序矩阵，再进行分组量化，从而降低量化误差。
  3. 实验结果表明，QET在LLM、K缓存和V缓存数据集上，相比现有最佳方法，显著降低了均方误差（MSE），提升了压缩性能。

📝 摘要（中文）

矩阵量化通过以更节省空间的形式表示矩阵元素来减少存储使用，解量化恢复原始矩阵以供使用。我们将量化误差最小化（QEM）问题定义为在量化矩阵占用相同内存空间的前提下，最小化量化前后矩阵之间的距离。矩阵量化在各种应用中至关重要，包括大型语言模型（LLM）权重量化、向量数据库、KV缓存量化、图压缩和图像压缩。GPT-4和BERT等LLM的最新进展突显了矩阵压缩的重要性，因为参数和KV缓存的尺寸很大，它们以矩阵形式存储。我们提出了量子纠缠树（QET）来解决QEM问题，利用矩阵元素的局部有序性，涉及迭代元素交换以形成局部有序矩阵。然后按列对该矩阵进行分组和量化。为了增强QET，我们引入了两个优化：进一步量化残差以减少MSE，以及使用掩码和批处理来加速算法。实验结果表明，在LLM数据集、K缓存和V缓存上，QET可以将MSE有效降低到当前最佳方法的5.05％，13.33％和11.89％。我们的贡献包括QEM问题的抽象、QET算法的设计以及提高准确性和速度的两个优化。

🔬 方法详解

问题定义：论文旨在解决矩阵量化中的量化误差最小化（QEM）问题。现有矩阵量化方法在压缩大规模语言模型（LLM）的参数和KV缓存时，往往面临量化误差过大的问题，导致模型性能下降。现有的方法难以充分利用矩阵元素的局部相关性，导致压缩效率受限。

核心思路：论文的核心思路是利用矩阵元素的局部有序性，通过迭代地交换矩阵元素，使得相邻元素之间更加相似，从而形成一个局部有序的矩阵。这种局部有序性有助于后续的分组量化，降低量化误差。通过进一步量化残差，可以进一步减少MSE。

技术框架：QET算法主要包含以下几个阶段：1. 元素交换：通过迭代地交换矩阵元素，使得矩阵局部有序。2. 分组量化：将局部有序的矩阵按列进行分组，并对每组进行量化。3. 残差量化：对量化后的残差进行进一步量化，以减少MSE。4. 加速优化：使用掩码和批处理技术来加速算法的执行。

关键创新：QET算法的关键创新在于：1. 量子纠缠树结构：通过迭代元素交换，构建了一种类似于量子纠缠的局部有序结构，使得矩阵元素之间的相关性更加紧密。2. 残差量化：通过对量化后的残差进行进一步量化，有效地降低了量化误差。3. 加速优化：通过掩码和批处理技术，显著提高了算法的执行效率。

关键设计：QET算法的关键设计包括：1. 元素交换策略：设计了一种有效的元素交换策略，以快速形成局部有序矩阵。2. 分组量化方法：选择合适的分组量化方法，以在压缩率和精度之间取得平衡。3. 残差量化方法：选择合适的残差量化方法，以有效地降低量化误差。4. 掩码和批处理技术：设计了高效的掩码和批处理技术，以加速算法的执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QET算法在LLM数据集上，MSE降低到当前最佳方法的5.05%；在K缓存上，MSE降低到当前最佳方法的13.33%；在V缓存上，MSE降低到当前最佳方法的11.89%。这些结果表明，QET算法能够显著降低量化误差，提高压缩性能。

🎯 应用场景

该研究成果可广泛应用于大型语言模型的压缩和部署，降低模型存储和计算成本，加速推理速度。此外，该方法还可应用于向量数据库、KV缓存、图压缩和图像压缩等领域，具有重要的实际应用价值和广泛的应用前景。

📄 摘要（原文）

The matrix quantization entails representing matrix elements in a more space-efficient form to reduce storage usage, with dequantization restoring the original matrix for use. We formulate the Quantization Error Minimization (QEM) problem as minimizing the distance between a matrix before and after quantization, under the condition that the quantized matrix occupies the same memory space. Matrix quantization is crucial in various applications, including Large Language Models (LLMs) weight quantization, vector databases, KV cache quantization, graph compression, and image compression. Recent advancements in LLMs, such as GPT-4 and BERT, have highlighted the importance of matrix compression due to the large size of parameters and KV cache, which are stored as matrices. We propose Quantum Entanglement Trees (QET) to address the QEM problem by leveraging the local orderliness of matrix elements, involving iterative element swapping to form a locally ordered matrix. This matrix is then grouped and quantized by columns. To enhance QET, we introduce two optimizations: further quantizing residuals to reduce MSE, and using masking and batch processing to accelerate the algorithm. Experimental results demonstrate that QET can effectively reduce MSE to 5.05%, 13.33%, and 11.89% of the current best method on the LLM dataset, K cache, and V cache, respectively. Our contributions include the abstraction of the QEM problem, the design of the QET algorithm, and the proposal of two optimizations to improve accuracy and speed.