Large Language Model Compression with Global Rank and Sparsity Optimization

📄 arXiv: 2505.03801 📥 PDF

作者: Changhai Zhou, Qian Qiao, Yuhua Zhou, Yuxin Wu, Shichao Weng, Weizhong Zhang, Cheng Jin

分类: cs.LG, cs.AI

发布日期: 2026-02-28

💡 一句话要点

提出全局秩和稀疏优化的大语言模型压缩方法，提升压缩性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型压缩 低秩逼近 稀疏化 全局优化 资源分配

📋 核心要点

  1. 现有LLM压缩方法难以有效处理低秩和稀疏矩阵之间的复杂交互，限制了压缩性能。
  2. 论文提出两阶段压缩方法，先分解权重矩阵，再进行概率全局资源分配，优化秩和稀疏结构。
  3. 实验结果表明，该方法在LLM压缩任务上显著优于现有稀疏化和复合逼近技术。

📝 摘要（中文）

本文提出了一种新颖的两阶段大语言模型（LLM）压缩方法，该方法具有全局资源分配能力，可用于秩和稀疏优化。现有方法在低秩和稀疏矩阵的交互与协作，以及不同层之间的权重分配方面存在挑战，影响了性能。为了解决这些问题，第一阶段利用鲁棒主成分分析将LLM的权重矩阵分解为低秩和稀疏分量，分别跨越低维和稀疏空间。第二阶段提出了一种概率全局分配策略，以联合识别上述两个空间内的低秩和稀疏结构。该方法的吸引人之处在于它能够自动检测不同层之间的冗余，并管理稀疏和低秩分量之间的交互。大量实验结果表明，该方法显著优于最先进的稀疏化和复合逼近技术。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）压缩问题，具体而言，是利用低秩和稀疏复合逼近方法压缩LLM时遇到的两个主要挑战：一是低秩和稀疏矩阵之间的交互与协作问题；二是不同层之间权重分配的差异性问题，即如何根据不同层的冗余程度进行有效的资源分配。现有方法难以同时优化这两个方面，导致压缩性能受限。

核心思路：论文的核心思路是将LLM的权重矩阵分解为低秩和稀疏两个部分，然后通过概率全局分配策略，在分解后的低秩空间和稀疏空间中联合寻找最优的低秩和稀疏结构。这种方法能够自动检测不同层之间的冗余，并有效地管理稀疏和低秩分量之间的交互，从而实现更好的压缩效果。

技术框架：该方法采用两阶段的压缩框架。第一阶段，利用鲁棒主成分分析（RPCA）将LLM的权重矩阵分解为低秩和稀疏分量。RPCA能够有效地分离出权重矩阵中的主要结构（低秩部分）和异常值（稀疏部分）。第二阶段，提出一种概率全局分配策略，用于联合识别低秩空间和稀疏空间中的低秩和稀疏结构。该策略基于概率模型，能够自动学习不同层之间的冗余程度，并根据冗余程度进行资源分配。

关键创新：该方法最重要的技术创新点在于其全局资源分配策略。与现有方法不同，该策略能够同时考虑低秩和稀疏两个方面，并根据不同层的冗余程度进行自适应的资源分配。这种全局优化策略能够有效地管理稀疏和低秩分量之间的交互，从而实现更好的压缩效果。

关键设计：在第一阶段，RPCA的具体实现采用了一种迭代算法，用于求解低秩矩阵和稀疏矩阵。在第二阶段，概率全局分配策略采用了一种基于概率模型的优化方法，具体细节未知。论文中没有明确说明损失函数和网络结构等技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在LLM压缩任务上显著优于现有的稀疏化和复合逼近技术。具体的性能数据和对比基线未知，但摘要中强调了“significantly surpasses state-of-the-art techniques”，表明该方法具有显著的优势。

🎯 应用场景

该研究成果可应用于各种需要部署大型语言模型的场景，例如移动设备、边缘计算设备等资源受限的环境。通过对LLM进行有效压缩，可以降低模型的存储空间和计算复杂度，从而使得LLM能够在这些设备上运行，并为用户提供智能服务。此外，该方法还可以应用于云端服务器，降低LLM的部署成本。

📄 摘要（原文）

Low-rank and sparse composite approximation is a natural idea to compress Large Language Models (LLMs). However, such an idea faces two primary challenges that adversely affect the performance of existing methods. The first challenge relates to the interaction and cooperation between low-rank and sparse matrices, while the second involves determining weight allocation across different layers, as redundancy varies considerably among them. To address these challenges, we propose a novel two-stage LLM compression method with the capability of global resource allocation for rank and sparsity. It is noteworthy that the overall optimization space is vast, making comprehensive optimization computationally prohibitive. Therefore, to reduce the optimization space, our first stage utilizes robust principal component analysis to decompose the weight matrices of LLMs into low-rank and sparse components, which span the low dimensional and sparse spaces containing the resultant low-rank and sparse matrices, respectively. In the second stage, we propose a probabilistic global allocation strategy to jointly identify the low-rank and sparse structures within the above two spaces. The appealing feature of our approach is its ability to automatically detect the redundancy across different layers and to manage the interaction between the sparse and low-rank components. Extensive experimental results indicate that our method significantly surpasses state-of-the-art techniques for sparsification and composite approximation.