Improving Knowledge Distillation in Transfer Learning with Layer-wise Learning Rates

📄 arXiv: 2407.04871v1 📥 PDF

作者: Shirley Kokane, Mostofa Rafid Uddin, Min Xu

分类: cs.LG, cs.CV

发布日期: 2024-07-05

💡 一句话要点

提出层级学习率的知识蒸馏迁移学习方法，提升复杂任务性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 迁移学习 知识蒸馏 层级学习率 雅可比矩阵 注意力机制

📋 核心要点

  1. 现有迁移学习方法在复杂任务中性能下降，主要原因是其全局统一的学习率策略无法适应不同层的特征差异。
  2. 论文提出一种层级学习率方案，根据各层输出激活的雅可比矩阵/注意力/海森矩阵差异，自适应调整学习参数。
  3. 实验表明，该方法在多种数据集上提升了学习性能和稳定性，尤其在复杂任务中性能提升更为显著。

📝 摘要（中文）

当学习任务的复杂度增加时，迁移学习方法的性能开始下降。现有方法通常计算所有匹配特征的累积差异，然后使用这些差异反向传播损失通过所有层。与这些方法不同，本文提出了一种新颖的层级学习方案，该方案根据输出激活相对于网络参数的雅可比矩阵/注意力/海森矩阵的差异，逐层调整学习参数。我们将这种新方案应用于基于注意力图和基于导数（一阶和二阶）的迁移学习方法。实验结果表明，该方法在各种数据集上都获得了改进的学习性能和稳定性。通过广泛的实验评估，我们观察到，随着学习任务难度的增加，我们的方法所实现的性能提升变得更加显著。

🔬 方法详解

问题定义：现有迁移学习方法在面对复杂任务时，由于采用统一的学习率，无法有效适应不同层之间的特征差异，导致性能下降。这些方法通常将所有层的特征差异累积起来，然后通过整个网络进行反向传播，忽略了各层特征的重要性差异。

核心思路：论文的核心思路是为每一层网络设置独立的学习率，并根据该层输出激活相对于网络参数的敏感度（通过雅可比矩阵、注意力或海森矩阵衡量）来动态调整学习率。这样可以使网络更好地适应不同层的特征，从而提高迁移学习的性能。

技术框架：该方法主要包含以下几个步骤：1) 使用预训练模型作为教师模型；2) 初始化一个学生模型；3) 对于每一层，计算教师模型和学生模型输出激活的雅可比矩阵/注意力/海森矩阵；4) 根据这些矩阵的差异，计算每一层的学习率；5) 使用计算得到的层级学习率，对学生模型进行训练。

关键创新：该方法最重要的创新点在于提出了层级学习率的概念，并将其应用于知识蒸馏的迁移学习中。与传统的全局学习率方法相比，该方法能够更好地适应不同层的特征差异，从而提高迁移学习的性能。此外，该方法还探索了使用雅可比矩阵、注意力或海森矩阵来衡量层级特征差异，并根据这些差异自适应调整学习率。

关键设计：论文的关键设计包括：1) 如何计算每一层输出激活相对于网络参数的雅可比矩阵/注意力/海森矩阵；2) 如何根据这些矩阵的差异来计算每一层的学习率。具体的计算公式和参数设置在论文中有详细描述，但摘要中未提供具体细节。损失函数方面，该方法可以与现有的知识蒸馏损失函数结合使用，例如基于注意力图的损失函数或基于导数的损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出方法的有效性。实验结果表明，该方法在多种数据集上都获得了改进的学习性能和稳定性。尤其是在学习任务难度增加时，该方法所实现的性能提升更为显著。具体的性能数据和对比基线在摘要中未提供，需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种需要迁移学习的场景，例如图像分类、目标检测、自然语言处理等。尤其是在数据量有限或任务复杂度较高的情况下，该方法能够有效提升模型的性能和泛化能力。未来，该方法可以进一步扩展到其他类型的神经网络和迁移学习方法中。

📄 摘要（原文）

Transfer learning methods start performing poorly when the complexity of the learning task is increased. Most of these methods calculate the cumulative differences of all the matched features and then use them to back-propagate that loss through all the layers. Contrary to these methods, in this work, we propose a novel layer-wise learning scheme that adjusts learning parameters per layer as a function of the differences in the Jacobian/Attention/Hessian of the output activations w.r.t. the network parameters. We applied this novel scheme for attention map-based and derivative-based (first and second order) transfer learning methods. We received improved learning performance and stability against a wide range of datasets. From extensive experimental evaluation, we observed that the performance boost achieved by our method becomes more significant with the increasing difficulty of the learning task.