Capability-Guided Compression: Toward Interpretability-Aware Budget Allocation for Large Language Models

📄 arXiv: 2603.16440v1 📥 PDF

作者: Rishaank Gupta

分类: cs.LG, cs.CL

发布日期: 2026-03-17

💡 一句话要点

提出能力引导压缩(CGC)，解决大语言模型压缩中能力盲区预算分配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型压缩 能力引导压缩 稀疏自编码器 能力密度 模型剪枝

📋 核心要点

  1. 现有大语言模型压缩方法在分配压缩预算时，忽略了模型组件的功能编码，导致能力损失评估不准确和性能突变。
  2. CGC框架利用稀疏自编码器(SAE)导出的能力密度图，指导transformer组件的压缩预算分配，实现能力感知的压缩。
  3. 实验表明，能力密度与现有重要性指标正交，为压缩提供新信号。理论分析揭示了能力密度与组件冗余和相变点的关系。

📝 摘要（中文）

大语言模型压缩在剪枝、量化和低秩分解方面取得了显著进展，但所有现有方法都存在一个根本限制：压缩预算的分配没有考虑到各个模型组件的功能编码。我们将此称为能力盲压缩问题，并认为这是两个已被充分记录的失败的根本原因——基于困惑度的评估对推理能力损失不敏感，以及Ma等人(2026)最近描述的模型性能的突变相变。我们提出了能力引导压缩(CGC)，该框架通过使用稀疏自编码器(SAE)导出的能力密度图来在transformer组件之间分配不同的压缩预算来解决这个问题。能力密度是一个正式定义的标量度量，它结合了组件的SAE特征激活分布的特征广度、激活熵和跨输入一致性。我们从理论上证明，具有较高能力密度的组件表现出较低的结构冗余，并在较低的压缩比下达到其各自的相变点，从而为组件级相变预测提供了第一个预压缩机制。在GPT-2 Medium上的实验证实，能力密度在统计上独立于Wanda重要性分数(Spearman rho = -0.054, n = 384个头)，这表明它是一种真正新颖的压缩信号，与所有现有的重要性指标正交。我们报告了一个基于PPL的压缩比较的负面结果，并提供了一个原则性的诊断，确定GPT-2 Medium不足以作为完整CGC假设的测试平台。理论框架、密度形式主义和正交性发现构成了能力感知压缩研究的基础。

🔬 方法详解

问题定义：现有大语言模型压缩方法（如剪枝、量化等）在分配压缩预算时，没有考虑模型内部不同组件所编码的功能或能力。这种“能力盲压缩”导致两个主要问题：一是基于困惑度(PPL)的评估无法准确反映模型推理能力的损失；二是模型性能可能出现突变式的下降（相变）。因此，需要一种方法能够根据模型组件的能力重要性来分配压缩预算，从而在压缩的同时尽可能保留模型的能力。

核心思路：论文的核心思路是利用稀疏自编码器(SAE)来提取模型组件（如Transformer中的注意力头）的能力密度。能力密度被定义为一个标量指标，它综合考虑了组件激活的特征广度、激活熵和跨输入一致性。作者认为，具有较高能力密度的组件包含更多重要的信息，因此应该分配更高的压缩预算。通过这种方式，压缩过程能够更加关注保留模型的核心能力。

技术框架：CGC框架主要包含以下几个步骤： 1. SAE训练：使用稀疏自编码器对模型中的每个组件（例如，Transformer的注意力头）进行训练，以学习其激活的稀疏表示。 2. 能力密度计算：基于SAE的激活分布，计算每个组件的能力密度，该密度综合考虑了特征广度、激活熵和跨输入一致性。 3. 预算分配：根据组件的能力密度，分配不同的压缩预算。能力密度高的组件分配更高的预算，即压缩程度较低；能力密度低的组件分配较低的预算，即压缩程度较高。 4. 模型压缩：根据分配的预算，使用现有的压缩技术（如剪枝、量化）对模型进行压缩。

关键创新：论文的关键创新在于提出了能力密度这一概念，并将其用于指导大语言模型的压缩。与现有的基于重要性分数的压缩方法（如Wanda）不同，能力密度是从模型组件的功能角度出发，评估其重要性。实验表明，能力密度与Wanda的重要性分数统计上独立，表明它是一种全新的压缩信号。此外，论文还从理论上证明了能力密度与组件的结构冗余和相变点之间的关系，为压缩策略的设计提供了理论依据。

关键设计：能力密度的计算是CGC框架的关键。具体而言，能力密度被定义为一个标量，它综合考虑了以下三个因素： 1. 特征广度：SAE激活的非零元素的数量，反映了组件激活的特征多样性。 2. 激活熵：SAE激活的熵，反映了组件激活的信息量。 3. 跨输入一致性：不同输入下SAE激活的相似性，反映了组件激活的稳定性。 能力密度是这三个因素的加权组合，具体的权重可以通过实验或理论分析确定。此外，论文还使用了GPT-2 Medium作为实验平台，并使用Spearman相关系数来评估能力密度与Wanda重要性分数之间的相关性。

📊 实验亮点

实验结果表明，能力密度与Wanda重要性分数统计上不相关（Spearman rho = -0.054, n = 384），证明了能力密度是一种与现有方法不同的新颖压缩信号。虽然基于PPL的压缩比较未显示显著改进，但论文对GPT-2 Medium作为测试平台的局限性进行了分析，并为未来的研究方向提供了指导。

🎯 应用场景

CGC框架可应用于各种需要压缩大语言模型的场景，例如移动设备部署、边缘计算和资源受限环境。通过能力感知的压缩，可以在保证模型性能的同时，显著降低模型的大小和计算复杂度，从而扩展大语言模型的应用范围，并降低部署成本。未来的研究可以探索将CGC应用于更大的模型和更复杂的任务。

📄 摘要（原文）

Large language model compression has made substantial progress through pruning, quantization, and low-rank decomposition, yet a fundamental limitation persists across all existing methods: compression budgets are allocated without any representation of what individual model components functionally encode. We term this the capability-blind compression problem and argue it is a root cause of two well-documented failures -- the insensitivity of perplexity-based evaluation to reasoning capability loss, and the abrupt phase transitions in model performance recently characterized by Ma et al. (2026). We propose Capability-Guided Compression (CGC), a framework that addresses this by using Sparse Autoencoder (SAE)-derived capability density maps to allocate differential compression budgets across transformer components. Capability density is a formally defined scalar measure combining the feature breadth, activation entropy, and cross-input consistency of a component's SAE feature activation distribution. We prove theoretically that components with higher capability density exhibit lower structural redundancy and reach their individual phase transition points at lower compression ratios, providing the first pre-compression mechanism for component-level phase transition prediction. Experiments on GPT-2 Medium confirm that capability density is statistically independent of Wanda importance scores (Spearman rho = -0.054, n = 384 heads), establishing it as a genuinely novel compression signal orthogonal to all existing importance metrics. We report a negative result on PPL-based compression comparison and provide a principled diagnosis identifying GPT-2 Medium as an insufficient test bed for the full CGC hypothesis. The theoretical framework, density formalism, and orthogonality finding constitute a foundation for capability-aware compression research.