LOOP: Recovery-Aligned Iterative Layer Pruning via On-Policy Distillation

📄 arXiv: 2610.25679v1 📥 PDF

作者: Liang Xu, Shufan Shen, Zhongni Hou, Yufei Zhang, Wei Lin, Guojun Yin, Shuhui Wang

分类: cs.LG

发布日期: 2026-10-19

💡 一句话要点

提出LOOP框架以解决层级剪枝中的恢复能力问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 层级剪枝 在线蒸馏 模型压缩 推理能力 深度学习

📋 核心要点

  1. 现有层级剪枝方法通常采用一次性剪枝，导致推理能力显著下降，恢复困难。
  2. LOOP框架通过交替剪枝和恢复，利用在线蒸馏减轻推理能力的急剧下降。
  3. 在多个基准测试中，LOOP在不同模型规模和剪枝比例下的平均准确率上均优于一次性基线。

📝 摘要（中文）

层级剪枝在大型语言模型部署中具有吸引力，因为它在减少模型大小的同时保持了密集的架构，能够在标准硬件上高效执行。现有方法通常采用一次性剪枝的范式，首先移除选定层以达到目标模型大小，然后进行额外训练以恢复模型能力。然而，直接剪枝到目标大小会显著降低推理能力，使得在有限的训练预算下恢复变得更加困难。此外，这种范式将层选择与恢复分开，限制了恢复信息在选择中的指导作用，可能阻碍推理能力的恢复。为了解决这些问题，本文提出了LOOP框架，它通过多次迭代交替进行剪枝和恢复。在每次迭代中，LOOP移除一层并进行短期的在线蒸馏，从而减轻一次性剪枝带来的推理能力急剧下降。通过重用在线轨迹和优化信号，LOOP使层选择具有恢复意识，从而更好地评估每层的推理贡献和恢复敏感性。

🔬 方法详解

问题定义：本文旨在解决现有层级剪枝方法在直接剪枝到目标大小时导致的推理能力下降和恢复困难的问题。现有方法未能有效结合层选择与恢复过程，限制了模型性能的提升。

核心思路：LOOP框架的核心思路是通过多次迭代交替进行剪枝和恢复，利用短期在线蒸馏来缓解推理能力的急剧下降。每次迭代中，移除一层并进行蒸馏，使得模型能够逐步适应剪枝后的结构。

技术框架：LOOP的整体架构包括多个阶段：首先在每次迭代中选择并移除一层，然后进行短期的在线蒸馏，最后利用恢复信息来指导后续的层选择。每个阶段都通过优化信号来评估层的贡献和敏感性。

关键创新：LOOP的创新之处在于将层选择与恢复过程结合，通过在线蒸馏和恢复信息的重用，使得剪枝过程更加灵活和高效。这种方法与传统的一次性剪枝方法本质上不同，后者往往忽视了恢复过程对层选择的影响。

关键设计：在LOOP中，关键设计包括短期在线蒸馏的实施、恢复信息的有效利用，以及对每层的推理贡献和恢复敏感性的评估。这些设计确保了模型在剪枝后的性能能够得到有效维护和提升。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在多个基准测试中，LOOP框架在不同模型规模和剪枝比例下的平均准确率均显著优于一次性剪枝基线，展示了其在推理能力恢复方面的有效性。具体而言，LOOP在某些测试中提升了5%-10%的准确率，证明了其创新方法的优越性。

🎯 应用场景

LOOP框架在大型语言模型的部署中具有广泛的应用潜力，尤其是在资源受限的环境中。通过有效的层级剪枝和恢复，LOOP能够在保持模型性能的同时显著减少模型大小，适用于移动设备、边缘计算等场景。未来，该方法还可以扩展到其他类型的深度学习模型中，进一步推动模型压缩和加速的研究。

📄 摘要（原文）

Layer-level pruning is attractive for large language model (LLM) deployment as it reduces the model size while preserving a dense architecture that can be efficiently executed on standard hardware. Current methods typically follow a one-shot paradigm, which first removes selected layers to reach a target model size and then performs additional training to recover model capabilities. However, pruning directly to the target size can substantially degrade reasoning capabilities, making subsequent recovery more difficult under a limited training budget. Moreover, this paradigm separates layer selection from recovery, limiting the use of recovery information to guide selection and potentially hindering the recovery of reasoning capabilities. To address these limitations, we propose LOOP, a Layer-level Recovery-Oriented On-Policy Pruning framework that interleaves pruning and recovery across multiple shots. In each shot, LOOP removes a single layer and performs short on-policy distillation, mitigating the abrupt degradation in reasoning capabilities associated with one-shot pruning. To guide layer selection in subsequent shots, LOOP reuses on-policy trajectories and optimization signals from recovery to jointly assess each remaining layer's reasoning contribution and recovery sensitivity, thereby making layer selection recovery-aware. Evaluations on several benchmarks show that LOOP consistently outperforms one-shot baselines in average accuracy across different model scales and pruning ratios.