Teacher-Guided Student Self-Knowledge Distillation Using Diffusion Model

📄 arXiv: 2602.02107v1 📥 PDF

作者: Yu Wang, Chuanguang Yang, Zhulin An, Weilun Feng, Jiarui Zhao, Chengqing Yu, Libo Huang, Boyu Diao, Yongjun Xu

分类: cs.CV

发布日期: 2026-02-02

💡 一句话要点

提出基于扩散模型的教师引导学生自知识蒸馏方法DSKD，解决教师-学生特征分布差异问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 扩散模型 特征对齐 模型压缩 视觉识别

📋 核心要点

  1. 现有知识蒸馏方法忽略了教师和学生模型间特征分布的差异，导致学生模型学习到不兼容的信息。
  2. DSKD利用教师分类器引导扩散模型对学生特征进行去噪，从而将教师知识融入学生特征，消除分布差异。
  3. 实验结果表明，DSKD在视觉识别任务上显著优于现有知识蒸馏方法，证明了其有效性。

📝 摘要（中文）

现有的知识蒸馏(KD)方法通常通过探索有意义的特征处理和损失函数来对齐教师和学生之间的特征信息。然而，由于教师和学生之间特征分布的差异，学生模型可能会从教师那里学习到不兼容的信息。为了解决这个问题，我们提出了一种教师引导的学生扩散自知识蒸馏方法，称为DSKD。我们没有直接进行教师-学生对齐，而是利用教师分类器来引导轻量级扩散模型对去噪学生特征的采样过程。然后，我们提出了一种新颖的局部敏感哈希(LSH)引导的特征蒸馏方法，用于原始学生特征和去噪学生特征之间。去噪后的学生特征封装了教师知识，可以被视为教师角色。通过这种方式，我们的DSKD方法可以消除教师和学生之间映射方式和特征分布的差异，同时从教师那里学习有意义的知识。在视觉识别任务上的实验表明，DSKD在各种模型和数据集上显著优于现有的KD方法。我们的代码在补充材料中。

🔬 方法详解

问题定义：现有知识蒸馏方法直接对齐教师和学生的特征，忽略了两者之间特征分布的差异。这种差异会导致学生模型学习到与自身不兼容的知识，从而限制了知识蒸馏的性能。因此，如何消除教师和学生模型之间的特征分布差异，是知识蒸馏领域的一个重要挑战。

核心思路：DSKD的核心思路是利用扩散模型将教师的知识融入到学生模型的特征中，从而消除教师和学生模型之间的特征分布差异。具体来说，DSKD使用教师分类器来引导扩散模型的采样过程，使得去噪后的学生特征能够更好地反映教师的知识。同时，DSKD还使用局部敏感哈希(LSH)来对齐原始学生特征和去噪后的学生特征，从而保证学生模型能够学习到有用的知识。

技术框架：DSKD主要包含以下几个模块：1) 轻量级扩散模型：用于对学生特征进行去噪，并将教师知识融入到学生特征中。2) 教师分类器：用于引导扩散模型的采样过程，使得去噪后的学生特征能够更好地反映教师的知识。3) 局部敏感哈希(LSH)：用于对齐原始学生特征和去噪后的学生特征，从而保证学生模型能够学习到有用的知识。4) 特征蒸馏损失：用于指导学生模型学习去噪后的学生特征。

关键创新：DSKD的关键创新在于：1) 利用扩散模型将教师的知识融入到学生模型的特征中，从而消除教师和学生模型之间的特征分布差异。2) 使用教师分类器来引导扩散模型的采样过程，使得去噪后的学生特征能够更好地反映教师的知识。3) 提出了一种新颖的局部敏感哈希(LSH)引导的特征蒸馏方法，用于原始学生特征和去噪学生特征之间。

关键设计：DSKD的关键设计包括：1) 扩散模型的结构和参数设置。2) 教师分类器的选择和训练。3) 局部敏感哈希(LSH)的参数设置。4) 特征蒸馏损失函数的选择和权重设置。这些设计细节对DSKD的性能有重要影响，需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DSKD在多个视觉识别数据集上取得了显著的性能提升。例如，在CIFAR-100数据集上，DSKD相比于传统的知识蒸馏方法，取得了超过2%的准确率提升。此外，DSKD在不同的学生模型结构上都表现出了良好的泛化能力，证明了其有效性和鲁棒性。

🎯 应用场景

DSKD方法可应用于各种需要模型压缩和加速的场景，例如移动设备上的图像识别、自动驾驶中的目标检测等。通过知识蒸馏，可以将大型、复杂的教师模型中的知识迁移到小型、轻量级的学生模型中，从而在保证性能的同时，降低计算成本和存储空间需求。该方法在边缘计算和资源受限设备上具有广阔的应用前景。

📄 摘要（原文）

Existing Knowledge Distillation (KD) methods often align feature information between teacher and student by exploring meaningful feature processing and loss functions. However, due to the difference in feature distributions between the teacher and student, the student model may learn incompatible information from the teacher. To address this problem, we propose teacher-guided student Diffusion Self-KD, dubbed as DSKD. Instead of the direct teacher-student alignment, we leverage the teacher classifier to guide the sampling process of denoising student features through a light-weight diffusion model. We then propose a novel locality-sensitive hashing (LSH)-guided feature distillation method between the original and denoised student features. The denoised student features encapsulate teacher knowledge and could be regarded as a teacher role. In this way, our DSKD method could eliminate discrepancies in mapping manners and feature distributions between the teacher and student, while learning meaningful knowledge from the teacher. Experiments on visual recognition tasks demonstrate that DSKD significantly outperforms existing KD methods across various models and datasets. Our code is attached in supplementary material.