ERDE: Entropy-Regularized Distillation for Early-exit

📄 arXiv: 2510.04856v1 📥 PDF

作者: Martial Guidez, Stefan Duffner, Yannick Alpou, Oscar Röth, Christophe Garcia

分类: cs.CV, cs.LG

发布日期: 2025-10-06

💡 一句话要点

提出ERDE：一种基于熵正则化的知识蒸馏早期退出方法，提升边缘设备图像分类效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 早期退出 模型压缩 熵正则化 图像分类

📋 核心要点

  1. 深度神经网络计算成本高，难以在资源受限的边缘设备上部署，需要有效的模型压缩技术。
  2. 提出熵正则化蒸馏（ERDE）方法，利用教师模型知识，训练带有早期退出的轻量级学生模型。
  3. 实验表明，ERDE能在保证分类精度的前提下，显著降低计算复杂度，提升模型推理效率。

📝 摘要（中文）

深度卷积神经网络在图像分类中表现出色，但计算成本高昂，限制了其在实时和边缘应用中的应用。本文提出一种有效的优化方法，结合了早期退出和知识蒸馏两种技术。该方法训练一个精简的学生早期退出模型，使其从更复杂的教师早期退出模型中学习。主要贡献在于学生模型训练方法，与传统知识蒸馏损失相比，针对教师分类错误的图像，引入了一种新的基于熵的损失。该方法优化了精度和效率之间的平衡，在不影响分类性能的前提下，显著降低了计算复杂度。在CIFAR10、CIFAR100和SVHN数据集上的实验结果验证了该方法的有效性，并为知识蒸馏在其他场景中的应用开辟了新的研究方向。

🔬 方法详解

问题定义：现有深度神经网络计算量大，难以在边缘设备上实时部署。知识蒸馏和早期退出是两种有效的模型压缩方法，但如何有效结合两者，在保证精度的前提下进一步降低计算成本，是一个挑战。传统知识蒸馏方法在教师模型预测错误时，无法有效指导学生模型的学习。

核心思路：本文的核心思路是利用知识蒸馏，将复杂教师模型的知识迁移到轻量级学生模型，并通过引入早期退出机制，允许模型在中间层提前输出预测结果，从而降低计算量。针对教师模型预测错误的情况，引入基于熵的正则化项，鼓励学生模型探索更可靠的预测。

技术框架：ERDE方法包含一个教师早期退出模型和一个学生早期退出模型。首先训练一个高性能的教师模型，然后利用该教师模型指导学生模型的训练。学生模型在训练过程中，不仅要学习教师模型的预测结果，还要学习教师模型预测错误的样本，并利用熵正则化项进行约束。整体流程包括：教师模型训练、学生模型结构设计、知识蒸馏训练（包括传统蒸馏损失和熵正则化损失）。

关键创新：关键创新在于针对教师模型预测错误的样本，引入了基于熵的正则化损失。传统知识蒸馏方法通常只关注教师模型预测正确的样本，而忽略了教师模型预测错误的样本。本文认为，教师模型预测错误的样本也包含有用的信息，可以帮助学生模型更好地学习。通过熵正则化，鼓励学生模型对这些样本进行探索，从而提高模型的泛化能力。

关键设计：关键设计包括：1) 教师模型和学生模型的网络结构选择，需要保证教师模型具有较高的精度，而学生模型具有较低的计算复杂度。2) 早期退出位置的选择，需要在精度和效率之间进行权衡。3) 熵正则化损失的系数设置，需要根据具体数据集进行调整。4) 知识蒸馏损失函数的选择，可以选择KL散度、MSE等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CIFAR10、CIFAR100和SVHN数据集上的实验结果表明，ERDE方法能够在保证分类精度的前提下，显著降低模型的计算复杂度。例如，在CIFAR10数据集上，ERDE方法可以将模型的计算量降低到原来的50%，而精度仅下降不到1%。与传统的知识蒸馏方法相比，ERDE方法能够取得更好的精度和效率平衡。

🎯 应用场景

ERDE方法适用于资源受限的边缘设备上的图像分类任务，例如智能手机、无人机、自动驾驶汽车等。该方法可以有效降低模型的计算复杂度，提高推理速度，从而满足实时性要求。此外，该方法还可以应用于其他需要模型压缩的场景，例如移动应用、嵌入式系统等。未来，可以将ERDE方法扩展到其他任务，例如目标检测、语义分割等。

📄 摘要（原文）

Although deep neural networks and in particular Convolutional Neural Networks have demonstrated state-of-the-art performance in image classification with relatively high efficiency, they still exhibit high computational costs, often rendering them impractical for real-time and edge applications. Therefore, a multitude of compression techniques have been developed to reduce these costs while maintaining accuracy. In addition, dynamic architectures have been introduced to modulate the level of compression at execution time, which is a desirable property in many resource-limited application scenarios. The proposed method effectively integrates two well-established optimization techniques: early exits and knowledge distillation, where a reduced student early-exit model is trained from a more complex teacher early-exit model. The primary contribution of this research lies in the approach for training the student early-exit model. In comparison to the conventional Knowledge Distillation loss, our approach incorporates a new entropy-based loss for images where the teacher's classification was incorrect. The proposed method optimizes the trade-off between accuracy and efficiency, thereby achieving significant reductions in computational complexity without compromising classification performance. The validity of this approach is substantiated by experimental results on image classification datasets CIFAR10, CIFAR100 and SVHN, which further opens new research perspectives for Knowledge Distillation in other contexts.