When Compression Meets Model Compression: Memory-Efficient Double Compression for Large Language Models

📄 arXiv: 2502.15443v1 📥 PDF

作者: Weilan Wang, Yu Mao, Dongdong Tang, Hongchao Du, Nan Guan, Chun Jason Xue

分类: cs.CL, cs.AI

发布日期: 2025-02-21

💡 一句话要点

提出面向量化大语言模型的双重压缩框架，实现内存高效部署

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型压缩 模型量化 模型剪枝 内存优化 边缘计算

📋 核心要点

  1. 现有量化方法压缩LLM后，在内存受限设备上部署仍然面临巨大挑战，需要进一步压缩。
  2. 提出压缩感知量化和剪枝相结合的双重压缩框架，并在解压速度上进行优化。
  3. 实验表明，该方法能在精度和推理速度损失可忽略不计的情况下，减少40%的内存占用。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出色。然而，即使是量化后的LLM，其内存需求对于在内存受限设备上的部署也构成巨大挑战。本文提出了一种在量化后进一步压缩LLM的框架，实现了约2.2倍的压缩率。首先，提出了一种压缩感知量化方法，通过在量化前重新缩放模型参数来增强模型权重的可压缩性，然后采用剪枝方法进一步改进。在此基础上，我们注意到解压缩可能成为实际场景中的瓶颈。然后，我们详细分析了该方法带来的内存使用和延迟之间的权衡。提出了一种速度自适应方法来克服这个问题。实验结果表明，压缩模型的推理可以在精度和推理速度损失可忽略不计的情况下，实现内存大小减少40%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在内存受限设备上部署的问题。即使经过量化，LLMs的内存占用仍然很高，限制了其在边缘设备上的应用。现有的压缩方法可能无法在精度、推理速度和内存占用之间取得理想的平衡。

核心思路：论文的核心思路是通过双重压缩，即先进行压缩感知量化，再进行剪枝，从而在保证模型性能的同时，显著降低内存占用。此外，还考虑了解压缩带来的延迟问题，并提出速度自适应方法进行优化。

技术框架：该框架主要包含三个阶段：1) 压缩感知量化：在量化前对模型参数进行重新缩放，以提高模型权重的可压缩性。2) 剪枝：进一步去除模型中的冗余连接，减小模型大小。3) 速度自适应解压缩：根据实际情况动态调整解压缩策略，以平衡内存占用和推理速度。

关键创新：该方法的主要创新点在于：1) 提出了压缩感知量化，通过预处理模型参数来提高压缩率。2) 综合考虑了量化、剪枝和解压缩三个环节，并针对解压缩延迟问题提出了速度自适应方法。3) 实现了在精度和推理速度损失可忽略不计的情况下，显著降低内存占用。

关键设计：压缩感知量化中，参数重缩放的具体策略未知。剪枝方法的具体实现未知。速度自适应解压缩方法中，如何根据实际情况动态调整解压缩策略，以及具体的参数设置未知。损失函数和网络结构与原始模型保持一致，没有进行修改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法可以在精度和推理速度损失可忽略不计的情况下，实现内存大小减少40%。具体性能数据、对比基线和提升幅度等细节未在摘要中给出，需要参考论文全文。

🎯 应用场景

该研究成果可应用于各种内存受限设备上LLM的部署，例如移动设备、嵌入式系统和物联网设备。通过降低LLM的内存占用，可以使这些设备能够运行更复杂的AI应用，例如智能助手、机器翻译和自然语言理解等。此外，该方法还可以用于加速LLM的训练和推理，提高AI应用的效率。

📄 摘要（原文）

Large language models (LLMs) exhibit excellent performance in various tasks. However, the memory requirements of LLMs present a great challenge when deploying on memory-limited devices, even for quantized LLMs. This paper introduces a framework to compress LLM after quantization further, achieving about 2.2x compression ratio. A compression-aware quantization is first proposed to enhance model weight compressibility by re-scaling the model parameters before quantization, followed by a pruning method to improve further. Upon this, we notice that decompression can be a bottleneck during practical scenarios. We then give a detailed analysis of the trade-off between memory usage and latency brought by the proposed method. A speed-adaptive method is proposed to overcome it. The experimental results show inference with the compressed model can achieve a 40% reduction in memory size with negligible loss in accuracy and inference speed.