LumiNet: Perception-Driven Knowledge Distillation via Statistical Logit Calibration

📄 arXiv: 2310.03669v3 📥 PDF

作者: Md. Ismail Hossain, M M Lutfe Elahi, Sameera Ramasinghe, Ali Cheraghian, Fuad Rahman, Nabeel Mohammed, Shafin Rahman

分类: cs.CV

发布日期: 2023-10-05 (更新: 2025-08-05)

备注: Accepted at Transactions on Machine Learning Research (TMLR), August 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出LumiNet以解决logit蒸馏性能不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 logit校准 深度学习 计算机视觉 模型压缩

📋 核心要点

  1. 现有的logit基础蒸馏方法在性能上通常不及特征基础方法，存在过度自信的问题。
  2. LumiNet通过引入“感知”概念，校准logits并重构样本logits，以提高logit基础蒸馏的效果。
  3. 在多个基准测试中，LumiNet的表现超越了传统特征基础方法，显示出显著的性能提升。

📝 摘要（中文）

在知识蒸馏领域，特征基础的方法因其有效利用教师模型而占据主导地位。然而，logit基础的方法通常表现较差。为了解决这一问题，本文提出了LumiNet，一种新颖的知识蒸馏算法，旨在增强logit基础蒸馏。我们引入了“感知”概念，通过模型的表示能力来校准logits，解决了logit基础蒸馏中的过度自信问题，并提出了一种新方法，通过考虑批次中其他样本的关系来重构样本的logits。LumiNet在CIFAR-100、ImageNet和MSCOCO等基准上表现优异，超越了领先的特征基础方法，例如在ImageNet上与ResNet18和MobileNetV2的KD相比，分别提高了1.5%和2.05%。代码可在https://github.com/ismail31416/LumiNet获取。

🔬 方法详解

问题定义：本文旨在解决logit基础知识蒸馏方法在性能上的不足，尤其是其在处理教师模型的“黑暗知识”时的过度自信问题。现有方法通常依赖于特征提取，导致logit基础方法的效果不佳。

核心思路：LumiNet的核心思想是通过“感知”来校准logits，增强模型的表示能力，从而改善logit基础蒸馏的效果。通过重构样本logits并考虑批次中其他样本的关系，LumiNet有效地提取了教师模型的知识。

技术框架：LumiNet的整体架构包括数据输入、logit校准、样本关系重构和知识蒸馏四个主要模块。首先，输入样本经过模型生成logits，然后通过感知机制进行校准，最后结合其他样本的信息进行重构，最终实现知识的有效蒸馏。

关键创新：LumiNet的主要创新在于引入了“感知”概念，解决了logit基础蒸馏中的过度自信问题，并通过样本间关系重构logits，这一方法与传统的特征基础蒸馏方法有本质区别。

关键设计：在设计中，LumiNet采用了特定的损失函数来优化logits的校准效果，同时在网络结构上进行了调整，以更好地适应样本间的关系重构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LumiNet在多个基准测试中表现出色，特别是在ImageNet上与ResNet18和MobileNetV2的对比中，分别提高了1.5%和2.05%的准确率，展示了其在logit基础蒸馏方面的显著优势。

🎯 应用场景

LumiNet的研究成果在计算机视觉领域具有广泛的应用潜力，尤其是在图像分类、目标检测和图像生成等任务中。通过提高logit基础蒸馏的性能，LumiNet能够帮助构建更高效的深度学习模型，推动智能系统的进一步发展。

📄 摘要（原文）

In the knowledge distillation literature, feature-based methods have dominated due to their ability to effectively tap into extensive teacher models. In contrast, logit-based approaches, which aim to distill "dark knowledge" from teachers, typically exhibit inferior performance compared to feature-based methods. To bridge this gap, we present LumiNet, a novel knowledge distillation algorithm designed to enhance logit-based distillation. We introduce the concept of "perception", aiming to calibrate logits based on the model's representation capability. This concept addresses overconfidence issues in the logit-based distillation method while also introducing a novel method to distill knowledge from the teacher. It reconstructs the logits of a sample/instances by considering relationships with other samples in the batch. LumiNet excels on benchmarks like CIFAR-100, ImageNet, and MSCOCO, outperforming the leading feature-based methods, e.g., compared to KD with ResNet18 and MobileNetV2 on ImageNet, it shows improvements of 1.5% and 2.05%, respectively. Codes are available at https://github.com/ismail31416/LumiNet.