Progressive Class-level Distillation

📄 arXiv: 2505.24310v1 📥 PDF

作者: Jiayan Li, Jun Li, Zhourui Zhang, Jianhua Xu

分类: cs.CV

发布日期: 2025-05-30

💡 一句话要点

提出渐进式类别级蒸馏（PCD）方法，解决知识蒸馏中低概率类别知识传递不足的问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 logits蒸馏 模型压缩 类别级学习 渐进式学习

📋 核心要点

  1. 传统知识蒸馏方法中，高置信度类别主导训练，导致低概率类别的判别信息未能充分传递。
  2. 论文提出渐进式类别级蒸馏（PCD），通过分阶段蒸馏和logits差异排序，关注不同阶段的类别知识传递。
  3. 实验结果表明，PCD方法在分类和检测任务上均优于现有技术，实现了更有效的知识迁移。

📝 摘要（中文）

在知识蒸馏（KD）中，logits蒸馏（LD）旨在通过在logits级别上精确的师生对齐，将更强大的教师网络中的类别级知识迁移到小型学生模型。由于高置信度的对象类别通常主导蒸馏过程，因此也包含判别信息的低概率类别在传统方法中被弱化，导致知识传递不足。为了解决这个问题，我们提出了一种简单而有效的LD方法，称为渐进式类别级蒸馏（PCD）。与执行全类别集成蒸馏的现有方法不同，我们的PCD方法执行阶段性蒸馏，以进行逐步知识传递。更具体地说，我们对师生logits差异进行排序，以从头开始识别蒸馏优先级，然后将整个LD过程分为多个阶段。接下来，进行结合了由粗到精的渐进式学习和反向由精到粗的细化的双向阶段性蒸馏，从而可以通过在不同蒸馏阶段的单独类别组内充分的logits对齐来实现全面的知识传递。在公共基准数据集上的扩展实验表明，与最先进的分类和检测任务方法相比，我们的方法具有优越性。

🔬 方法详解

问题定义：知识蒸馏旨在将大型教师模型的知识迁移到小型学生模型。Logits蒸馏是一种常用的方法，它通过对齐教师和学生模型的logits输出来实现知识迁移。然而，传统方法往往侧重于高置信度的类别，而忽略了低概率类别中包含的判别信息，导致学生模型无法充分学习到所有类别的知识。

核心思路：论文的核心思路是采用渐进式的方法，分阶段地进行类别级别的知识蒸馏。通过对教师和学生模型logits的差异进行排序，确定每个阶段需要重点关注的类别，从而实现更全面的知识迁移。这种方法能够克服传统方法中高置信度类别主导的问题，使学生模型能够更好地学习到低概率类别的知识。

技术框架：PCD方法将整个蒸馏过程分为多个阶段。首先，计算教师和学生模型logits之间的差异，并根据差异的大小对类别进行排序。然后，在每个阶段，选择差异最大的类别进行重点蒸馏。具体来说，采用双向阶段性蒸馏，包括由精到粗的渐进式学习和反向由粗到精的细化。由精到粗的渐进式学习侧重于从差异最大的类别开始，逐步关注差异较小的类别；反向由粗到精的细化则是在后期阶段对之前学习过的类别进行进一步的优化。

关键创新：PCD方法的关键创新在于其渐进式的类别级别蒸馏策略。与传统的全类别蒸馏方法不同，PCD方法能够根据教师和学生模型之间的差异，动态地调整每个阶段的蒸馏重点，从而实现更有效的知识迁移。此外，双向阶段性蒸馏的设计也能够更好地平衡不同类别之间的学习，避免出现某些类别被过度关注而另一些类别被忽略的情况。

关键设计：PCD方法的关键设计包括：1) 使用logits差异作为类别排序的依据；2) 将蒸馏过程分为多个阶段，每个阶段关注不同的类别；3) 采用双向阶段性蒸馏，包括由精到粗的渐进式学习和反向由粗到精的细化。具体的损失函数设计未知，但推测是结合了传统的logits蒸馏损失，并可能针对不同阶段的类别设置不同的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在公共基准数据集上进行了实验，结果表明PCD方法在分类和检测任务上均优于现有技术。具体的性能数据未知，但摘要中明确指出PCD方法相比于state-of-the-art的方法具有优越性，证明了其有效性和实用价值。实验结果表明，PCD方法能够更有效地将教师模型的知识迁移到学生模型中，从而提高学生模型的性能。

🎯 应用场景

该研究成果可广泛应用于模型压缩和加速领域，尤其是在资源受限的设备上部署深度学习模型。通过知识蒸馏，可以将大型复杂模型的知识迁移到小型高效的模型中，从而在保证性能的同时降低计算成本和内存占用。例如，可以将PCD方法应用于移动设备上的图像识别、自动驾驶系统中的目标检测等场景。

📄 摘要（原文）

In knowledge distillation (KD), logit distillation (LD) aims to transfer class-level knowledge from a more powerful teacher network to a small student model via accurate teacher-student alignment at the logits level. Since high-confidence object classes usually dominate the distillation process, low-probability classes which also contain discriminating information are downplayed in conventional methods, leading to insufficient knowledge transfer. To address this issue, we propose a simple yet effective LD method termed Progressive Class-level Distillation (PCD). In contrast to existing methods which perform all-class ensemble distillation, our PCD approach performs stage-wise distillation for step-by-step knowledge transfer. More specifically, we perform ranking on teacher-student logits difference for identifying distillation priority from scratch, and subsequently divide the entire LD process into multiple stages. Next, bidirectional stage-wise distillation incorporating fine-to-coarse progressive learning and reverse coarse-to-fine refinement is conducted, allowing comprehensive knowledge transfer via sufficient logits alignment within separate class groups in different distillation stages. Extension experiments on public benchmarking datasets demonstrate the superiority of our method compared to state-of-the-arts for both classification and detection tasks.