FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression

📄 arXiv: 2505.23966v3 📥 PDF

作者: Jiayi Tian, Ryan Solgi, Jinming Lu, Yifan Yang, Hai Li, Zheng Zhang

分类: cs.CL

发布日期: 2025-05-29 (更新: 2025-07-29)

💡 一句话要点

FLAT-LLM：基于细粒度低秩激活空间变换的大语言模型压缩方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型压缩 低秩分解 激活空间变换 主成分分析 模型加速

📋 核心要点

  1. 现有大语言模型压缩方法，如低秩分解，存在精度下降、校准开销大和推理效率低等问题。
  2. FLAT-LLM通过在激活空间进行细粒度低秩变换，实现快速、准确且无需训练的结构化压缩。
  3. 实验表明，FLAT-LLM在多个模型和数据集上优于结构化剪枝基线，并实现了推理加速。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理领域取得了显著进展，但其高计算和内存需求对资源受限环境中的部署提出了挑战。虽然最近的低秩分解方法为结构化压缩提供了一条有希望的途径，但它们通常会遭受精度下降、昂贵的校准过程，并导致低效的模型架构，从而阻碍了实际推理速度的提升。本文提出FLAT-LLM，一种快速、准确且无需训练的结构化压缩方法，它基于激活空间中的细粒度低秩变换。具体而言，我们通过使用由head-wise主成分分析计算出的截断特征向量变换权重来减少隐藏维度，并采用贪婪预算重新分配策略来跨解码器自适应地分配秩。FLAT-LLM实现了高效且有效的权重压缩，无需恢复微调，可以在几分钟内完成校准。在5个模型和11个数据集上进行评估，FLAT-LLM在泛化和下游性能方面优于结构化剪枝基线，同时提供了优于基于分解的方法的推理加速。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在资源受限环境下部署的难题。现有低秩分解方法虽然能实现模型压缩，但通常伴随着精度损失，需要耗时的校准过程，并且压缩后的模型架构在实际推理时效率不高，无法充分利用硬件加速。

核心思路：FLAT-LLM的核心思路是在激活空间中进行细粒度的低秩变换，通过降低隐藏层的维度来实现模型压缩。这种方法避免了传统的微调过程，并能快速完成校准，同时通过自适应的秩分配策略优化模型性能。

技术框架：FLAT-LLM主要包含以下几个阶段：1) 对LLM的每一层（特别是Transformer解码器层）的权重矩阵进行head-wise主成分分析（PCA），计算截断的特征向量。2) 使用这些特征向量对权重矩阵进行低秩分解，从而降低隐藏层的维度。3) 采用贪婪预算重新分配策略，根据每一层的重要性自适应地分配秩，以优化整体性能。

关键创新：FLAT-LLM的关键创新在于其细粒度的激活空间低秩变换和贪婪预算重新分配策略。与传统的全局低秩分解方法不同，FLAT-LLM针对每个head进行PCA，能够更精细地捕捉模型中的重要信息。此外，贪婪预算重新分配策略能够根据每一层的实际需求动态调整秩的大小，从而在压缩率和性能之间取得更好的平衡。

关键设计：FLAT-LLM的关键设计包括：1) head-wise PCA：对每个注意力头的权重矩阵单独进行PCA，保留最重要的特征向量。2) 截断特征向量：选择保留的特征向量数量（即秩）是影响压缩率和性能的关键参数。3) 贪婪预算重新分配：通过迭代的方式，逐步增加对模型性能提升最大的层的秩，直到达到预设的预算上限。具体的秩分配策略和预算上限的选择需要根据实际情况进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FLAT-LLM在多个模型和数据集上进行了评估，实验结果表明，它在泛化能力和下游任务性能方面优于结构化剪枝基线。此外，FLAT-LLM实现了比基于分解的方法更快的推理速度，并且校准过程可以在几分钟内完成，无需耗时的微调。具体的性能提升数据需要在论文中查找。

🎯 应用场景

FLAT-LLM适用于各种资源受限的场景，例如移动设备、嵌入式系统和边缘计算设备。它可以帮助在这些平台上部署大型语言模型，从而实现本地化的自然语言处理应用，例如智能助手、机器翻译和文本摘要。该研究的潜在价值在于降低了LLM的使用门槛，促进了人工智能技术的普及。

📄 摘要（原文）

Large Language Models (LLMs) have enabled remarkable progress in natural language processing, yet their high computational and memory demands pose challenges for deployment in resource-constrained environments. Although recent low-rank decomposition methods offer a promising path for structural compression, they often suffer from accuracy degradation, expensive calibration procedures, and result in inefficient model architectures that hinder real-world inference speedups. In this paper, we propose FLAT-LLM, a fast and accurate, training-free structural compression method based on fine-grained low-rank transformations in the activation space. Specifically, we reduce the hidden dimension by transforming the weights using truncated eigenvectors computed via head-wise Principal Component Analysis, and employ a greedy budget redistribution strategy to adaptively allocate ranks across decoders. FLAT-LLM achieves efficient and effective weight compression without recovery fine-tuning, which could complete the calibration within a few minutes. Evaluated across 5 models and 11 datasets, FLAT-LLM outperforms structural pruning baselines in generalization and downstream performance, while delivering inference speedups over decomposition-based methods.