Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization

📄 arXiv: 2405.10616v2 📥 PDF

作者: Yixin Ji, Yang Xiang, Juntao Li, Qingrong Xia, Zi Ye, Xinyu Duan, Zhefeng Wang, Kehai Chen, Min Zhang

分类: cs.CL, cs.LG

发布日期: 2024-05-17 (更新: 2025-02-23)

备注: Published as a conference paper at 2024 EMNLP findings

💡 一句话要点

提出基于自适应特征的低秩压缩方法，用于高效压缩大型语言模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 低秩压缩 贝叶斯优化 特征分布估计 模型压缩 自适应算法 LLaMA-2

📋 核心要点

  1. 大型语言模型参数量巨大，计算开销高昂，现有低秩压缩方法在维度分配上存在挑战。
  2. 提出一种自适应特征的低秩压缩方法，通过池化协方差矩阵估计特征分布，并使用贝叶斯优化分配维度。
  3. 在LLaMA-2模型上的实验表明，该方法在相同压缩比下，性能优于现有的剪枝和低秩压缩技术。

📝 摘要（中文）

近年来，大型语言模型（LLMs）推动了自然语言处理的进步。然而，其不断增长的规模增加了计算负担，因此需要在效率和性能之间取得平衡。低秩压缩是一种很有前途的技术，它通过将权重矩阵分解为两个低秩矩阵的乘积来减少非必要参数。然而，它在LLMs中的应用尚未得到广泛研究。低秩压缩的关键在于低秩分解和低秩维度分配。为了解决LLMs中低秩压缩的挑战，我们对大型模型的低秩特性进行了实证研究。我们提出了一种适用于LLMs的低秩压缩方法。该方法包括通过池化的协方差矩阵精确估计特征分布，以及使用贝叶斯优化策略来分配低秩维度。在LLaMA-2模型上的实验表明，在相同的压缩比下，我们的方法在保持模型性能方面优于现有的强结构化剪枝和低秩压缩技术。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）的低秩压缩问题。现有方法在低秩维度分配方面存在不足，无法充分利用模型的低秩特性，导致压缩后性能下降。现有的低秩压缩方法没有充分考虑LLM中不同层和不同权重的特征分布差异，采用统一的压缩策略，导致压缩效率不高。

核心思路：论文的核心思路是根据LLM中不同层和不同权重的特征分布，自适应地分配低秩维度。通过精确估计特征分布，并利用贝叶斯优化策略，找到最佳的低秩维度配置，从而在保持模型性能的同时，实现更高的压缩率。这种自适应的方法能够更好地捕捉模型中的冗余信息，并进行有效的压缩。

技术框架：该方法主要包含两个阶段：1) 特征分布估计：使用池化的协方差矩阵来精确估计LLM中不同层和不同权重的特征分布。池化操作可以减少计算量，同时保留关键的特征信息。2) 低秩维度分配：利用贝叶斯优化策略，根据估计的特征分布，自动搜索最佳的低秩维度配置。贝叶斯优化能够高效地探索搜索空间，找到在给定压缩率下，能够最大化模型性能的维度配置。

关键创新：该方法最重要的技术创新点在于自适应的低秩维度分配策略。与传统的统一分配策略不同，该方法能够根据LLM中不同层和不同权重的特征分布，动态地调整低秩维度，从而更好地利用模型的低秩特性。此外，使用池化的协方差矩阵进行特征分布估计，在保证精度的同时，降低了计算复杂度。

关键设计：在特征分布估计阶段，论文采用了池化协方差矩阵，具体池化策略未知。在低秩维度分配阶段，论文使用了贝叶斯优化算法，目标函数是压缩后模型的性能指标（例如，困惑度或准确率），约束条件是压缩率。贝叶斯优化算法的具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LLaMA-2模型上的实验结果表明，该方法在相同的压缩比下，能够显著优于现有的强结构化剪枝和低秩压缩技术。具体的性能提升数据未知，但论文强调了在保持模型性能方面的优势。实验结果验证了该方法在LLM压缩方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要部署大型语言模型的场景，例如移动设备、边缘计算设备等。通过低秩压缩，可以显著降低模型的存储空间和计算复杂度，从而使得LLMs能够在资源受限的环境中运行。此外，该方法还可以用于加速LLMs的推理速度，提高用户体验。未来，该方法可以进一步扩展到其他类型的深度学习模型，例如图像识别模型和语音识别模型。

📄 摘要（原文）

In recent years, large language models (LLMs) have driven advances in natural language processing. Still, their growing scale has increased the computational burden, necessitating a balance between efficiency and performance. Low-rank compression, a promising technique, reduces non-essential parameters by decomposing weight matrices into products of two low-rank matrices. Yet, its application in LLMs has not been extensively studied. The key to low-rank compression lies in low-rank factorization and low-rank dimensions allocation. To address the challenges of low-rank compression in LLMs, we conduct empirical research on the low-rank characteristics of large models. We propose a low-rank compression method suitable for LLMs. This approach involves precise estimation of feature distributions through pooled covariance matrices and a Bayesian optimization strategy for allocating low-rank dimensions. Experiments on the LLaMA-2 models demonstrate that our method outperforms existing strong structured pruning and low-rank compression techniques in maintaining model performance at the same compression ratio.