QK-Wanda: Coupling Queries and Keys for Unstructured Pruning

📄 arXiv: 2610.01554v1 📥 PDF

作者: Ivan Ilin, Peter Richtárik

分类: cs.LG, cs.CL

发布日期: 2026-10-01

备注: 81 pages, including appendices

💡 一句话要点

提出QK-Wanda以优化无结构剪枝方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无结构剪枝 大型语言模型 查询与键 模型压缩 性能优化

📋 核心要点

  1. 现有方法Wanda在剪枝过程中未考虑查询和键之间的相互作用，导致剪枝效果不理想。
  2. QK-Wanda通过引入查询和键的相互信息，优化了剪枝评分机制，使得两个投影共享剪枝预算。
  3. 实验结果显示，QK-Wanda在多个模型上显著降低重构误差，并在特定情况下提升下游任务性能。

📝 摘要（中文）

Wanda（Sun等，2024）通过在每个线性投影中独立评分权重来剪枝大型语言模型，然而查询和键通过点积相互作用。我们提出了QK-Wanda，通过在未掩蔽的预RoPE重构目标下，依据单独删除成本对查询和键权重进行评分。它通过来自对立投影的信息增强Wanda评分（查询权重使用键的信息，键权重使用查询的信息），使得两个投影能够共享剪枝预算。其闭式评分不需要梯度或权重更新；在A100上完全剪枝比Wanda慢1.3%，在H200上慢3.1%。我们在15个模型（TinyLlama、Llama 2、Llama 3和Qwen2.5，参数范围0.5B-72B）上评估了仅QK剪枝。相较于Wanda，QK-Wanda在50%稀疏度下平均减少60%的QK重构误差，在80%稀疏度下减少45%。下游效果依赖于模型。

🔬 方法详解

问题定义：本论文旨在解决现有Wanda方法在剪枝大型语言模型时未考虑查询和键之间相互作用的问题，导致剪枝效果不佳。

核心思路：QK-Wanda通过评分查询和键权重的单独删除成本，结合来自对立投影的信息，优化了剪枝过程，使得查询和键能够共享剪枝预算。

技术框架：QK-Wanda的整体架构包括两个主要模块：查询权重评分和键权重评分。每个模块根据其删除成本进行评分，并结合对方的信息进行优化。

关键创新：QK-Wanda的主要创新在于引入了查询和键之间的耦合评分机制，这与Wanda方法的独立评分形成了鲜明对比，从而提升了剪枝的有效性。

关键设计：在参数设置上，QK-Wanda采用了未掩蔽的预RoPE重构目标，闭式评分不需要梯度或权重更新，确保了剪枝过程的高效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，QK-Wanda在50%稀疏度下平均减少60%的重构误差，在80%稀疏度下减少45%。在Llama 2 70B模型上，WikiText-2和C4的困惑度分别降低20.3%和13.5%，同时零-shot准确率提高5.94个百分点，显示出显著的性能提升。

🎯 应用场景

该研究在大型语言模型的剪枝领域具有广泛的应用潜力，能够有效减少模型的计算资源消耗，同时保持模型性能。未来，QK-Wanda可能在各种自然语言处理任务中得到应用，推动模型的高效部署与应用。

📄 摘要（原文）

Wanda (Sun et al., 2024) prunes large language models by scoring weights independently within each linear projection, although queries and keys interact through dot products. We introduce QK-Wanda, which scores query and key weights by their individual deletion costs under an unmasked pre-RoPE reconstruction objective. It augments Wanda scores with information from the opposite projection (keys for query weights, and queries for key weights), allowing both projections to share a pruning budget. Its closed-form scores require no gradients or weight updates; full pruning takes 1.3% longer than Wanda on A100 and 3.1% longer on H200 with the calibration used in our main experiments. We evaluate QK-only pruning across 15 models from TinyLlama, Llama 2, Llama 3, and Qwen2.5, spanning 0.5B-72B parameters. Relative to Wanda, QK-Wanda reduces QK reconstruction error by an average of 60% at 50% sparsity and 45% at 80%. Downstream gains depend on the model. At 80% sparsity on Llama 2 70B, WikiText-2 and C4 perplexity decrease by 20.3% and 13.5%, while mean zero-shot accuracy rises by 5.94 percentage points. Qwen2.5-72B also improves, but Llama-3.1-70B has substantially higher perplexity despite lower reconstruction error. These results show both the promise of coupled pruning criteria and the limits of local reconstruction as a predictor of model quality.