Output-aware Residual Stream Pruning for Large Language Models
作者: Chayne Thrash, Kevin Chen, Soheil Kolouri
分类: cs.LG
发布日期: 2026-09-28
💡 一句话要点
提出敏感性感知的残差流修剪方法以降低大语言模型推理成本
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 残差流修剪 大语言模型 敏感性感知 推理成本 模型优化 激活协方差 KL散度
📋 核心要点
- 现有的残差流修剪方法在选择维度时主要依赖激活重构误差，忽视了下游层对扰动的敏感性，导致效果不佳。
- 本文提出了一种敏感性感知的残差流修剪方法，利用二阶近似来考虑扰动对模型输出的影响，优化维度选择。
- 在多个语言模型上进行的实验表明，该方法在降低KL散度的同时，显著提升了模型的困惑度和下游任务性能。
📝 摘要（中文）
残差流修剪方法通过缩小模型的隐藏维度来降低推理成本，但现有方法通常通过最小化激活重构误差来选择这些维度，这种标准隐含地将所有扰动方向视为同等重要，忽略了下游层的敏感性。本文提出了一种敏感性感知的残差流修剪方法，直接考虑了方向依赖的敏感性。通过对输出KL散度的二阶近似，我们通过激活协方差和模型输出的局部敏感性来表征残差流扰动的影响。所提出的子空间选择目标将这两个量耦合，但直接优化较为困难。我们推导出一个可处理的谱上界，将子空间选择简化为敏感性加权协方差矩阵的特征分解。实验结果表明，该方法在多个指令调优的语言模型家族中，相较于仅基于激活的修剪方法，能够有效降低校准KL散度，并在不同压缩水平下改善困惑度和下游任务性能。
🔬 方法详解
问题定义：本文旨在解决现有残差流修剪方法在选择维度时忽视下游层敏感性的问题，导致推理性能下降。
核心思路：提出了一种敏感性感知的修剪方法，通过二阶近似输出KL散度，结合激活协方差和局部敏感性来优化维度选择。
技术框架：整体方法包括两个主要阶段：首先计算激活协方差和敏感性，然后通过特征分解得到敏感性加权协方差矩阵，最终选择合适的子空间进行修剪。
关键创新：本研究的创新在于引入了敏感性感知的维度选择标准，显著提高了修剪的有效性，与传统方法相比，能够更好地保留模型性能。
关键设计：在损失函数设计上，结合了KL散度的二阶近似，使用敏感性加权的协方差矩阵进行特征分解，确保了修剪过程的高效性和结构简单性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在多个指令调优的语言模型上，相较于仅基于激活的修剪方法，能够有效降低校准KL散度，并在不同压缩水平下改善困惑度和下游任务性能，具体提升幅度达到了X%。
🎯 应用场景
该研究的潜在应用领域包括大语言模型的优化和部署，尤其是在资源受限的环境中。通过有效的残差流修剪，可以在保持模型性能的同时，显著降低计算成本，提升实际应用的可行性和效率。
📄 摘要（原文）
Residual stream pruning methods reduce inference cost by shrinking the model's hidden dimension, but existing approaches typically choose these dimensions by minimizing activation reconstruction error. This criterion implicitly treats all perturbation directions as equally important, ignoring the sensitivity of downstream layers. We introduce a sensitivity-aware approach to residual-stream pruning that directly accounts for this direction-dependent sensitivity. Using a second-order approximation to the output KL divergence, we characterize the effect of a residual-stream perturbation through both its activation covariance and the local sensitivity of the model output. The resulting subspace selection objective couples these two quantities, but is difficult to optimize directly. We derive a tractable spectral upper bound that reduces subspace selection to an eigendecomposition of a sensitivity-weighted covariance matrix, retaining the efficiency and structural simplicity of rotation-based pruning methods. Across several instruction-tuned language model families, our method consistently reduces calibration KL divergence relative to activation-only pruning and improves perplexity and downstream task performance over a range of compression levels. Our results show that preserving activation energy alone is insufficient for residual-stream pruning, and that explicitly accounting for how perturbations propagate to the model output provides a more effective criterion for selecting dimensions to remove.