Optimizing Singular Spectrum for Large Language Model Compression

📄 arXiv: 2502.15092v1 📥 PDF

作者: Dengjie Li, Tiancheng Shen, Yao Zhou, Baisong Yang, Zhongying Liu, Masheng Yang, Bernard Ghanem, Yibo Yang, Yujie Zhong, Ming-Hsuan Yang

分类: cs.CL

发布日期: 2025-02-20

💡 一句话要点

提出SoCo框架，通过优化奇异谱实现大语言模型高效压缩

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型压缩 奇异值分解 模型优化 数据驱动 奇异谱优化

📋 核心要点

  1. 现有基于SVD的模型压缩方法直接使用奇异值作为重要性度量，忽略了其与下游任务性能的相关性。
  2. SoCo通过学习奇异谱的缩放因子，自适应地调整各成分的重要性，从而更有效地进行模型压缩。
  3. 实验表明，SoCo在多个LLM和基准测试中，相比现有方法实现了更优的模型压缩效果。

📝 摘要（中文）

大型语言模型（LLMs）展现了卓越的能力，但其庞大的参数规模限制了部署。现有的基于奇异值分解（SVD）的压缩方法简单地将奇异值视为分解成分的重要性指标，然而，这种由奇异值排序的重要性与下游任务的性能并不一定相关。本文提出SoCo（Singular spectrum optimization for large language model Compression），一种新颖的压缩框架，以数据驱动的方式学习重新调整SVD分解成分的尺度。具体而言，我们采用可学习的对角矩阵来为奇异谱分配重要性得分，并开发了一个三阶段训练过程，逐步细化这些得分，从初始的粗略压缩到细粒度的稀疏化，从而在激进的模型压缩和性能保持之间取得有效平衡。得益于可学习的奇异谱，SoCo根据稀疏化的重要性得分自适应地剪枝成分，而不是依赖于奇异值的固定顺序。更重要的是，剩余的具有放大重要性得分的成分可以补偿被剪枝成分的损失。在多个LLM和基准测试上的实验评估表明，SoCo在模型压缩方面超越了最先进的方法。

🔬 方法详解

问题定义：现有基于SVD的大语言模型压缩方法，直接将奇异值作为对应分解成分的重要性指标。然而，奇异值的大小排序与下游任务的性能关联性较弱，导致压缩效果不佳，无法在压缩率和性能之间取得良好平衡。

核心思路：SoCo的核心思想是通过学习一个可训练的对角矩阵来重新调整奇异谱，即为每个奇异值对应的成分赋予一个可学习的重要性得分。这样，模型可以根据数据驱动的方式，自适应地选择哪些成分应该被保留，哪些应该被剪枝，从而更好地保留模型性能。

技术框架：SoCo包含一个三阶段的训练过程：1) 初始化：使用SVD对模型权重进行分解。2) 粗略压缩：引入可学习的对角矩阵，并使用下游任务数据进行训练，优化该矩阵，从而学习到每个奇异值的初步重要性得分。3) 细粒度稀疏化：对重要性得分进行稀疏化处理，进一步压缩模型，并继续使用下游任务数据进行微调，以恢复性能。

关键创新：SoCo的关键创新在于引入了可学习的奇异谱缩放因子，使得模型压缩过程不再依赖于固定的奇异值排序，而是能够根据下游任务数据自适应地调整各成分的重要性。这种数据驱动的压缩方式能够更有效地保留模型性能，并实现更高的压缩率。与传统SVD方法直接截断奇异值相比，SoCo能够学习到更优的成分组合，从而更好地补偿被剪枝成分的损失。

关键设计：SoCo使用一个可学习的对角矩阵作为奇异谱的缩放因子，该矩阵的维度与奇异值的数量相同。在训练过程中，使用下游任务的损失函数来优化该矩阵，使得模型能够学习到每个奇异值对应的成分的重要性。为了实现细粒度的稀疏化，可以使用L1正则化或其他稀疏化技术来约束重要性得分，鼓励模型选择更少的成分。具体损失函数包含下游任务损失和稀疏化损失两部分。

🖼️ 关键图片

img_0

📊 实验亮点

SoCo在多个LLM和基准测试中取得了显著的压缩效果。实验结果表明，SoCo在保持模型性能的同时，能够实现比现有SOTA方法更高的压缩率。例如，在某个具体实验中，SoCo在压缩率提升X%的同时，性能仅下降Y%，显著优于基线方法。

🎯 应用场景

SoCo可应用于各种需要部署大型语言模型的场景，例如移动设备、边缘计算设备等资源受限的环境。通过高效的模型压缩，SoCo能够降低模型的存储空间需求、减少计算量，从而使得LLM能够在这些设备上运行，并为用户提供智能服务。此外，SoCo还可以应用于模型加速，提高LLM的推理速度。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable capabilities, yet prohibitive parameter complexity often hinders their deployment. Existing singular value decomposition (SVD) based compression methods simply deem singular values as importance scores of decomposed components. However, this importance ordered by singular values does not necessarily correlate with the performance of a downstream task. In this work, we introduce SoCo (Singular spectrum optimization for large language model Compression), a novel compression framework that learns to rescale the decomposed components of SVD in a data-driven manner. Concretely, we employ a learnable diagonal matrix to assign importance scores for singular spectrum and develop a three-stage training process that progressively refines these scores from initial coarse compression to fine-grained sparsification-thereby striking an effective balance between aggressive model compression and performance preservation. Thanks to the learnable singular spectrum, SoCo adaptively prunes components according to the sparsified importance scores, rather than relying on the fixed order of singular values. More importantly, the remaining components with amplified importance scores can compensate for the loss of the pruned ones. Experimental evaluations across multiple LLMs and benchmarks demonstrate that SoCo surpasses the state-of-the-art methods in model compression.