ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
作者: Houcheng Jiang, Mao Zheng, Mingyang Song, Qiyong Zhong, Jie Sun, Tianyu Zhang, Junfeng Fang
分类: cs.CL
发布日期: 2026-10-08
💡 一句话要点
提出RECAL以解决结构化剪枝对蒸馏恢复的影响
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 结构化剪枝 在线策略蒸馏 模型恢复 校准方法 自然语言处理 推理模型 性能提升 机器学习
📋 核心要点
- 现有的结构化剪枝方法在降低模型部署成本的同时，导致推理能力显著下降，影响后续的在线策略蒸馏效果。
- RECAL通过在剪枝前进行校准调整，利用前向KL散度识别受损的教师支持预测，从而优化剪枝过程。
- 实验结果表明，RECAL在多个模型上提升了数学推理能力，AIME上最高提升16.7个百分点，且在代码生成任务中也表现出色。
📝 摘要（中文）
结构化剪枝降低了推理语言模型的部署成本，但随之而来的能力下降可能会妨碍后续的在线策略蒸馏（OPD）恢复。由于OPD依赖于学生生成的轨迹，剪枝后残留的损害会限制其有效性。本文提出了RECAL（Recovery-Aware Calibration），一种简单的即插即用方法，通过在剪枝前调整校准来改善OPD恢复。RECAL利用未剪枝教师模型与剪枝探测器之间的前向KL散度，识别出因剪枝而受到干扰的教师支持预测，然后重新加权校准统计数据，以引导现有剪枝标准保留这些预测。在多个模型和剪枝方法中，RECAL在OPD后始终改善数学推理，AIME上最高提升达16.7个百分点，同时在大多数代码生成比较中也有所改善。进一步分析表明，RECAL减少了对重度受影响标记的残余损害，并建立了在恢复过程中持续的性能优势。这些结果展示了恢复感知校准在改善剪枝推理模型的在线策略蒸馏恢复中的价值。
🔬 方法详解
问题定义：本文旨在解决结构化剪枝对推理语言模型能力的损害，尤其是在进行在线策略蒸馏（OPD）时，剪枝后残留的损害会限制模型的恢复效果。
核心思路：RECAL的核心思路是通过在剪枝前进行校准调整，利用前向KL散度来识别和保留教师模型支持的关键预测，从而提高OPD的恢复效果。
技术框架：RECAL的整体架构包括三个主要模块：首先，计算未剪枝教师模型与剪枝探测器之间的前向KL散度；其次，识别受损的教师支持预测；最后，重新加权校准统计数据，以优化剪枝标准。
关键创新：RECAL的主要创新在于其恢复感知校准方法，通过调整校准过程来减轻剪枝对模型性能的负面影响，这与传统的剪枝方法不同，后者通常不考虑校准的影响。
关键设计：在RECAL中，关键的参数设置包括前向KL散度的计算方式，以及如何有效地重新加权校准统计数据。此外，损失函数的设计也考虑了剪枝对不同标记的影响，以确保重要预测的保留。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RECAL在多个模型上显著提升了数学推理能力，AIME上最高提升达16.7个百分点。此外，在大多数代码生成任务中，RECAL也表现出明显的性能改善，验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的推理任务和代码生成任务。RECAL方法可以有效提升剪枝模型的性能，降低计算资源消耗，具有广泛的实际价值和应用前景，尤其是在资源受限的环境中。未来，RECAL可能会推动更高效的模型压缩和蒸馏技术的发展。
📄 摘要（原文）
Structured pruning reduces the deployment cost of reasoning language models, but the resulting capability degradation can hinder subsequent on-policy distillation (OPD) recovery. Because OPD relies on student-generated trajectories, pruning damage that persists after offline distillation can limit its effectiveness. We propose RECAL, Recovery-Aware Calibration, a simple plug-and-play approach that improves OPD recovery by adjusting calibration before pruning. RECAL uses forward KL between an unpruned teacher and a pruned probe to identify teacher-supported predictions disrupted by pruning, then reweights calibration statistics to guide existing pruning criteria toward preserving these predictions. Across multiple models and pruning methods, RECAL consistently improves mathematical reasoning after OPD, achieving gains of up to 16.7 percentage points on AIME, alongside improvements in most code-generation comparisons. Further analysis shows that RECAL reduces residual damage at heavily affected tokens and establishes performance advantages that persist through recovery. These results demonstrate the value of recovery-aware calibration for improving on-policy distillation recovery of pruned reasoning models.