Intra-class Patch Swap for Self-Distillation
作者: Hongjun Choi, Eun Som Jeon, Ankita Shukla, Pavan Turaga
分类: cs.CV
发布日期: 2025-05-20
备注: Accepted for publication in Neurocomputing
DOI: 10.1016/j.neucom.2025.130408
🔗 代码/项目: GITHUB
💡 一句话要点
提出一种基于类内块交换的自蒸馏方法，无需教师网络即可提升模型性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自蒸馏 知识蒸馏 数据增强 模型压缩 深度学习
📋 核心要点
- 传统知识蒸馏依赖预训练的教师网络，存在存储需求高、训练成本高以及教师选择困难等问题。
- 论文提出类内块交换增强方法，在单个学生网络内部模拟教师-学生动态，实现无教师自蒸馏。
- 实验表明，该方法在图像分类、语义分割和目标检测任务上均优于现有自蒸馏和传统知识蒸馏方法。
📝 摘要（中文）
知识蒸馏(KD)是一种将大型深度学习模型压缩为更小的、适用于边缘设备的网络的宝贵技术。然而，传统的KD框架依赖于预训练的高容量教师网络，这带来了显著的挑战，例如增加的内存/存储需求、额外的训练成本以及为给定的学生模型选择合适的教师时的模糊性。虽然无教师蒸馏(自蒸馏)已经成为一种有前途的替代方案，但许多现有方法仍然依赖于架构修改或复杂的训练程序，这限制了它们的通用性和效率。为了解决这些限制，我们提出了一种基于无教师蒸馏的新框架，该框架使用单个学生网络运行，无需任何辅助组件、架构修改或额外的可学习参数。我们的方法建立在一个简单但非常有效的增强方法上，称为类内块交换增强。这种增强通过生成具有不同置信度级别的类内样本对，然后在它们之间应用实例到实例的蒸馏来模拟单个模型中的教师-学生动态，从而对齐它们的预测分布。我们的方法概念简单、模型无关且易于实现，只需要一个增强函数。在图像分类、语义分割和目标检测方面的广泛实验表明，我们的方法始终优于现有的自蒸馏基线和传统的基于教师的KD方法。这些结果表明，自蒸馏的成功可能取决于增强方法本身的设计。我们的代码可在https://github.com/hchoi71/Intra-class-Patch-Swap上找到。
🔬 方法详解
问题定义：现有知识蒸馏方法依赖于预训练的教师网络，这增加了计算和存储负担，并且选择合适的教师网络也存在挑战。自蒸馏方法虽然避免了教师网络，但通常需要复杂的架构修改或训练流程，限制了其通用性和效率。
核心思路：论文的核心思路是通过一种新的数据增强方法——类内块交换，在单个学生网络内部模拟教师-学生之间的知识传递。通过交换同一类别图像的不同区域，生成置信度不同的样本对，从而实现自蒸馏。
技术框架：该方法主要包含以下几个步骤：1. 使用类内块交换增强方法生成样本对；2. 将样本对输入到学生网络中，得到预测结果；3. 使用实例到实例的蒸馏损失函数，对齐样本对的预测分布，从而实现知识传递。整个过程无需额外的教师网络或复杂的训练流程。
关键创新：该方法最重要的创新点在于提出了类内块交换增强方法，它能够有效地在单个网络内部模拟教师-学生动态，从而实现高效的自蒸馏。与现有自蒸馏方法相比，该方法无需架构修改或复杂的训练流程，具有更好的通用性和易用性。
关键设计：类内块交换增强的具体实现方式为：对于一张图像，随机选择一个区域，然后从同一类别的其他图像中随机选择一个区域，将这两个区域进行交换，从而生成新的图像。损失函数采用实例到实例的蒸馏损失，例如KL散度或MSE损失，用于对齐样本对的预测分布。具体参数设置（如块的大小、交换概率等）需要根据具体任务进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在图像分类、语义分割和目标检测任务上均取得了显著的性能提升。例如，在ImageNet图像分类任务上，该方法优于现有的自蒸馏基线，并且在某些情况下甚至超过了传统的基于教师的知识蒸馏方法。此外，该方法在计算效率方面也具有优势，因为它不需要额外的教师网络。
🎯 应用场景
该研究成果可广泛应用于模型压缩和加速领域，尤其适用于资源受限的边缘设备，如移动设备、嵌入式系统等。通过自蒸馏，可以在不显著降低模型性能的前提下，减小模型尺寸和计算复杂度，从而提高模型的部署效率和用户体验。该方法还可用于提升模型的鲁棒性和泛化能力。
📄 摘要（原文）
Knowledge distillation (KD) is a valuable technique for compressing large deep learning models into smaller, edge-suitable networks. However, conventional KD frameworks rely on pre-trained high-capacity teacher networks, which introduce significant challenges such as increased memory/storage requirements, additional training costs, and ambiguity in selecting an appropriate teacher for a given student model. Although a teacher-free distillation (self-distillation) has emerged as a promising alternative, many existing approaches still rely on architectural modifications or complex training procedures, which limit their generality and efficiency. To address these limitations, we propose a novel framework based on teacher-free distillation that operates using a single student network without any auxiliary components, architectural modifications, or additional learnable parameters. Our approach is built on a simple yet highly effective augmentation, called intra-class patch swap augmentation. This augmentation simulates a teacher-student dynamic within a single model by generating pairs of intra-class samples with varying confidence levels, and then applying instance-to-instance distillation to align their predictive distributions. Our method is conceptually simple, model-agnostic, and easy to implement, requiring only a single augmentation function. Extensive experiments across image classification, semantic segmentation, and object detection show that our method consistently outperforms both existing self-distillation baselines and conventional teacher-based KD approaches. These results suggest that the success of self-distillation could hinge on the design of the augmentation itself. Our codes are available at https://github.com/hchoi71/Intra-class-Patch-Swap.