On Explaining Knowledge Distillation: Measuring and Visualising the Knowledge Transfer Process

📄 arXiv: 2412.13943v1 📥 PDF

作者: Gereziher Adhane, Mohammad Mahdi Dehshibi, Dennis Vetter, David Masip, Gemma Roig

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-12-18

备注: Accepted to 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV'25). Includes 5 pages of supplementary material

💡 一句话要点

提出UniCAM，解释知识蒸馏过程，提升学生模型特征学习效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 模型解释性 可视化 特征学习 梯度加权类激活映射

📋 核心要点

  1. 知识蒸馏过程不透明，难以理解教师模型如何指导学生模型学习，阻碍了知识蒸馏技术的进一步优化。
  2. 提出UniCAM，一种基于梯度的可视化解释方法，用于解释知识蒸馏过程中学生模型学习到的知识，揭示蒸馏特征和残余特征。
  3. 通过特征相似性得分(FSS)和相关性得分(RS)量化蒸馏知识的相关性，并在多个数据集上验证了UniCAM的有效性。

📝 摘要（中文）

知识蒸馏(KD)面临挑战，因为教师到学生的知识转移过程不透明，难以解决相关问题。为了解决这个问题，我们提出了一种新的基于梯度的可视化解释方法UniCAM，有效地解释了KD期间学习到的知识。实验结果表明，在教师知识的指导下，学生模型变得更有效率，学习更相关的特征，同时丢弃不相关的特征。我们将教师指导下学习到的特征称为蒸馏特征，将与任务无关且被学生忽略的特征称为残余特征。蒸馏特征侧重于输入的关键方面，如纹理和对象的部分。相比之下，残余特征表现出更分散的注意力，通常针对不相关的区域，包括目标对象的背景。此外，我们提出了两个新的指标：特征相似性得分(FSS)和相关性得分(RS)，用于量化蒸馏知识的相关性。在CIFAR10、ASIRRA和植物病害数据集上的实验表明，UniCAM和这两个指标为解释KD过程提供了有价值的见解。

🔬 方法详解

问题定义：知识蒸馏旨在将大型教师模型的知识迁移到小型学生模型，但知识转移的过程往往是一个黑盒。现有的方法缺乏对知识蒸馏过程的可解释性，难以理解学生模型到底学习到了什么，以及教师模型是如何影响学生模型的学习的。这使得我们难以诊断和解决知识蒸馏过程中出现的问题，例如学生模型学习到不相关的特征。

核心思路：本文的核心思路是通过可视化解释知识蒸馏的过程，从而理解学生模型学习到的特征。具体来说，通过分析学生模型在学习过程中关注的区域，区分出蒸馏特征（与任务相关的特征）和残余特征（与任务无关的特征）。通过比较教师模型和学生模型关注的区域，可以了解教师模型是如何指导学生模型学习的。

技术框架：本文提出的UniCAM方法基于梯度加权类激活映射(Grad-CAM)。UniCAM通过计算学生模型输出对输入图像的梯度，并将其加权到特征图上，从而得到一个热力图，该热力图表示学生模型在进行预测时关注的区域。此外，本文还提出了两个新的指标：特征相似性得分(FSS)和相关性得分(RS)，用于量化蒸馏知识的相关性。FSS衡量学生模型和教师模型特征图的相似度，RS衡量学生模型关注的区域与目标对象的相关性。

关键创新：UniCAM的关键创新在于它能够可视化解释知识蒸馏的过程，从而理解学生模型学习到的特征。与传统的Grad-CAM方法相比，UniCAM更关注知识蒸馏的特殊性，能够更好地揭示蒸馏特征和残余特征。此外，FSS和RS指标提供了一种量化蒸馏知识相关性的方法，可以用于评估知识蒸馏的效果。

关键设计：UniCAM使用ReLU激活函数后的卷积层特征图计算梯度。FSS使用余弦相似度计算学生和教师模型特征图的相似性。RS通过计算学生模型关注区域与目标对象之间的IoU来衡量相关性。实验中，作者使用了CIFAR10、ASIRRA和植物病害数据集，并选择了ResNet等经典网络作为学生和教师模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在教师知识的指导下，学生模型能够学习到更相关的特征，并丢弃不相关的特征。UniCAM能够清晰地可视化蒸馏特征和残余特征，FSS和RS指标能够有效地量化蒸馏知识的相关性。在CIFAR10、ASIRRA和植物病害数据集上的实验验证了UniCAM的有效性，为知识蒸馏过程提供有价值的见解。

🎯 应用场景

该研究成果可应用于模型压缩、知识迁移等领域。通过可视化知识蒸馏过程，可以更好地理解学生模型学习到的知识，从而指导模型设计和训练。此外，该方法还可以用于诊断知识蒸馏过程中出现的问题，例如学生模型学习到不相关的特征，从而提高知识蒸馏的效果。未来，该方法可以扩展到更复杂的任务和模型。

📄 摘要（原文）

Knowledge distillation (KD) remains challenging due to the opaque nature of the knowledge transfer process from a Teacher to a Student, making it difficult to address certain issues related to KD. To address this, we proposed UniCAM, a novel gradient-based visual explanation method, which effectively interprets the knowledge learned during KD. Our experimental results demonstrate that with the guidance of the Teacher's knowledge, the Student model becomes more efficient, learning more relevant features while discarding those that are not relevant. We refer to the features learned with the Teacher's guidance as distilled features and the features irrelevant to the task and ignored by the Student as residual features. Distilled features focus on key aspects of the input, such as textures and parts of objects. In contrast, residual features demonstrate more diffused attention, often targeting irrelevant areas, including the backgrounds of the target objects. In addition, we proposed two novel metrics: the feature similarity score (FSS) and the relevance score (RS), which quantify the relevance of the distilled knowledge. Experiments on the CIFAR10, ASIRRA, and Plant Disease datasets demonstrate that UniCAM and the two metrics offer valuable insights to explain the KD process.