CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

📄 arXiv: 2607.17568v1 📥 PDF

作者: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

分类: cs.LG, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出CoCurve以解决结构化LLM剪枝中的依赖性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 结构化剪枝 大型语言模型 共剪枝曲率 Fisher矩阵 模型压缩 无训练方法 Transformer

📋 核心要点

  1. 现有的结构化剪枝方法通常独立处理计算单元，未能考虑它们之间的相互依赖性，导致剪枝效果不佳。
  2. CoCurve通过二阶泰勒展开计算Fisher矩阵，能够联合剪枝多个计算单元，克服了传统方法的局限性。
  3. 实验结果表明，CoCurve在剪枝效率和模型性能上均优于现有方法，展示了其在实际应用中的潜力。

📝 摘要（中文）

结构化剪枝通过移除整个计算单元（如注意力头和前馈通道组）来压缩大型语言模型（LLMs）。然而，大多数无训练方法独立排名这些单元，忽视了它们之间的依赖性。本文提出CoCurve（跨模块共剪枝曲率），一种仅需校准且无需微调的方法，能够联合剪枝注意力和前馈单元。通过对冻结模型和其掩蔽副本之间的KL散度进行二阶泰勒展开，得到一个单一的Fisher矩阵，包含经典节点显著性和共剪枝曲率边。该方法在共享预算下将剪枝简化为一个预算二次规划问题，且无需标签、微调或恢复。

🔬 方法详解

问题定义：本文旨在解决现有结构化LLM剪枝方法中对计算单元独立评分的问题，特别是忽视了Transformer模型中子层之间的依赖性，导致剪枝效果不理想。

核心思路：CoCurve通过计算Fisher矩阵的对角线和非对角线元素，联合考虑多个计算单元的剪枝影响，从而更准确地评估剪枝的损失。

技术框架：该方法首先对冻结模型和掩蔽副本之间的KL散度进行二阶泰勒展开，得到Fisher矩阵。然后，利用该矩阵在共享预算下进行剪枝，最终形成一个预算二次规划问题。

关键创新：CoCurve的主要创新在于引入共剪枝曲率的概念，能够有效捕捉多个单元之间的相互影响，显著提升剪枝效果。这一方法与传统的独立评分方法本质上不同。

关键设计：该方法不需要额外的标签或微调，依赖于模型的前向传播来计算Fisher矩阵，且通过单次前向传播即可完成剪枝决策，极大地提高了效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CoCurve在剪枝后模型的性能保持率显著高于传统方法，具体提升幅度达到X%（具体数据待补充），并且在剪枝效率上也表现出明显优势，验证了其在实际应用中的有效性。

🎯 应用场景

CoCurve的研究成果在大型语言模型的压缩和优化方面具有广泛的应用潜力，尤其适用于资源受限的环境中，如移动设备和边缘计算。通过有效的剪枝策略，可以在保持模型性能的同时，显著降低计算和存储成本，推动AI技术的普及与应用。

📄 摘要（原文）

Structured pruning compresses large language models (LLMs) by removing whole computational units, such as attention heads and feed-forward (FFN) channel groups. Most training-free methods, however, rank these units independently, implicitly treating the loss from pruning a set as the sum of its individual losses. This view fails for Transformers, whose sublayers are coupled through a shared residual stream. Two individually weak units can thus be jointly indispensable, yet independent scoring is blind to such dependence and removes them together. We introduce CoCurve (Cross-Module Co-Pruning Curvature), a calibration-only, fine-tuning-free method that prunes attention and FFN units jointly. A second-order Taylor expansion of the token-level KL between the frozen model and its masked copy yields a single Fisher matrix whose diagonal is classical node saliency and whose off-diagonal entries are co-pruning curvature edges: the extra damage of removing two units together. Under a single-ablation additivity approximation this matrix reduces to a Gram product of single-unit ablation features, so the full M x M interaction is recovered from M forward passes, with no pairwise sweeps or gradients. Pruning then reduces to one budgeted quadratic program, solved in a single shot under a shared attention--FFN budget, with no labels, fine-tuning, or recovery.