DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection
作者: Zhourui Zhang, Jun Li, Zhijian Wu, Jifeng Shen, Jianhua Xu
分类: cs.CV
发布日期: 2024-07-18
💡 一句话要点
提出DFMSD：双重特征掩码分阶段知识蒸馏用于目标检测，提升异构网络蒸馏效果。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 目标检测 知识蒸馏 特征掩码 异构网络 模型压缩 深度学习 阶段性学习
📋 核心要点
- 现有特征掩码蒸馏方法在异构网络中表现不佳，因为教师和学生网络差异大，导致重建的学生特征质量下降。
- DFMSD通过引入阶段性自适应学习模块，逐步弥合异构网络差距，并结合掩码增强策略，提升特征掩码重建效果。
- 实验结果表明，DFMSD在目标检测任务中优于现有的同构和异构蒸馏方法，验证了其有效性。
📝 摘要（中文）
本文提出了一种新颖的双重特征掩码异构蒸馏框架DFMSD，用于目标检测。主流的特征掩码蒸馏方法主要通过教师网络的特征图重建学生网络选择性掩码区域。这些方法利用注意力机制来识别空间重要区域和关键的对象感知通道线索，从而使重建的特征编码具有与教师特征相似的判别力和表示能力。然而，以往的特征掩码蒸馏方法主要解决同构知识蒸馏，没有充分考虑异构知识蒸馏场景。特别是，异构蒸馏范式中教师和学生框架之间的巨大差异不利于特征掩码，导致重建的学生特征恶化。因此，本文将一个阶段性自适应学习模块整合到双重特征掩码框架中，从而使学生模型能够逐步适应教师模型，以弥合异构网络之间的差距。此外，掩码增强策略与阶段性学习相结合，自适应地加强对象感知掩码区域，以改善特征掩码重建。此外，在教师和学生网络之间的每个特征金字塔网络（FPN）层执行语义对齐，以生成一致的特征分布。目标检测任务的实验表明了该方法的潜力，表明DFMSD优于最先进的异构和同构蒸馏方法。
🔬 方法详解
问题定义：现有特征掩码蒸馏方法主要针对同构网络设计，在异构网络中，由于教师和学生网络结构差异巨大，直接应用特征掩码蒸馏会导致学生网络重建的特征质量下降，无法有效学习教师网络的知识。这限制了知识蒸馏在实际应用中的灵活性和性能。
核心思路：本文的核心思路是通过分阶段的自适应学习，逐步缩小教师和学生网络之间的差距，从而使学生网络能够更好地学习教师网络的特征表示。同时，通过掩码增强策略，突出对象感知区域，提高特征重建的质量。
技术框架：DFMSD框架主要包含三个关键模块：双重特征掩码模块、阶段性自适应学习模块和语义对齐模块。双重特征掩码模块负责对教师和学生网络的特征进行掩码操作，并进行特征重建。阶段性自适应学习模块通过逐步调整学生网络的参数，使其更好地适应教师网络的特征表示。语义对齐模块则在FPN的每一层对教师和学生网络的特征进行语义对齐，保证特征分布的一致性。
关键创新：DFMSD的关键创新在于提出了双重特征掩码和阶段性自适应学习相结合的异构知识蒸馏框架。与传统的特征掩码蒸馏方法相比，DFMSD能够更好地处理异构网络之间的差异，从而提高蒸馏效果。此外，掩码增强策略能够自适应地突出对象感知区域，进一步提高特征重建的质量。
关键设计：阶段性自适应学习模块采用多个中间层进行知识传递，逐步缩小教师和学生网络之间的差距。掩码增强策略通过注意力机制自适应地调整掩码区域的权重，突出对象感知区域。语义对齐模块采用最小化特征分布差异的损失函数，保证特征分布的一致性。具体的损失函数和网络结构细节在论文中有详细描述，但未在摘要中明确给出。
🖼️ 关键图片
📊 实验亮点
论文提出的DFMSD方法在目标检测任务上取得了显著的性能提升，优于现有的同构和异构蒸馏方法。具体的性能数据和对比基线需要在论文正文中查找，摘要中未提供具体数值。但摘要明确指出DFMSD超越了state-of-the-art的方法，表明其具有很强的竞争力。
🎯 应用场景
DFMSD可应用于各种需要模型压缩和加速的目标检测场景，例如移动设备上的实时目标检测、自动驾驶中的车辆和行人检测等。通过将大型、复杂的教师模型知识迁移到小型、轻量级的学生模型，可以显著降低计算成本和功耗，同时保持较高的检测精度，具有重要的实际应用价值。
📄 摘要（原文）
In recent years, current mainstream feature masking distillation methods mainly function by reconstructing selectively masked regions of a student network from the feature maps of a teacher network. In these methods, attention mechanisms can help to identify spatially important regions and crucial object-aware channel clues, such that the reconstructed features are encoded with sufficient discriminative and representational power similar to teacher features. However, previous feature-masking distillation methods mainly address homogeneous knowledge distillation without fully taking into account the heterogeneous knowledge distillation scenario. In particular, the huge discrepancy between the teacher and the student frameworks within the heterogeneous distillation paradigm is detrimental to feature masking, leading to deteriorating reconstructed student features. In this study, a novel dual feature-masking heterogeneous distillation framework termed DFMSD is proposed for object detection. More specifically, a stage-wise adaptation learning module is incorporated into the dual feature-masking framework, and thus the student model can be progressively adapted to the teacher models for bridging the gap between heterogeneous networks. Furthermore, a masking enhancement strategy is combined with stage-wise learning such that object-aware masking regions are adaptively strengthened to improve feature-masking reconstruction. In addition, semantic alignment is performed at each Feature Pyramid Network (FPN) layer between the teacher and the student networks for generating consistent feature distributions. Our experiments for the object detection task demonstrate the promise of our approach, suggesting that DFMSD outperforms both the state-of-the-art heterogeneous and homogeneous distillation methods.