Advanced Knowledge Transfer: Refined Feature Distillation for Zero-Shot Quantization in Edge Computing

📄 arXiv: 2412.19125v2 📥 PDF

作者: Inpyo Hong, Youngwan Jo, Hyojeong Lee, Sunghyun Ahn, Sanghyun Park

分类: cs.CV, cs.LG

发布日期: 2024-12-26 (更新: 2025-05-22)

备注: Accepted at ACM SAC 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出AKT：一种用于边缘计算零样本量化的精细化特征蒸馏方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 零样本量化 特征蒸馏 知识迁移 边缘计算 低比特量化 注意力机制 模型压缩

📋 核心要点

  1. 现有零样本量化方法在低比特量化时，由于信息容量受限，导致模型学习能力下降，成为性能瓶颈。
  2. AKT通过精细化特征蒸馏，利用空间和通道注意力机制，将全精度模型的核心信息高效传递给低比特量化模型。
  3. 实验表明，AKT显著提升了低比特量化模型的精度，在CIFAR-10数据集上取得了3比特和5比特场景下的SOTA结果。

📝 摘要（中文）

本文提出了一种名为AKT（Advanced Knowledge Transfer）的新方法，旨在提升低比特量化（Q）模型在零样本量化（ZSQ）领域的训练能力。现有的ZSQ研究主要集中于从全精度（FP）模型生成高质量数据。然而，由于低比特量化的信息容量有限，这些方法在降低学习能力方面遇到了困难。为了克服这一限制，我们提出了一种有效的训练策略，相比于数据生成，该策略更有效。特别地，我们分析了在特征蒸馏过程中细化特征图是向Q模型传递知识的有效途径。基于此分析，AKT能够高效地将核心信息从FP模型传递到Q模型。AKT是第一个在ZSQ的特征蒸馏中同时利用空间和通道注意力信息的方法。我们的方法解决了低比特Q模型中根本的梯度爆炸问题。在CIFAR-10和CIFAR-100数据集上的实验证明了AKT的有效性。我们的方法显著提升了现有生成模型的性能。值得注意的是，AKT在低比特Q模型中实现了显著的精度提升，在CIFAR-10的3比特和5比特场景中达到了最先进的水平。

🔬 方法详解

问题定义：论文旨在解决零样本量化（ZSQ）中，低比特量化模型因信息容量有限而导致的训练困难问题。现有方法主要依赖于从全精度模型生成数据，但忽略了低比特量化模型自身的学习能力不足，导致性能提升受限。梯度爆炸问题也是低比特量化模型训练的痛点。

核心思路：论文的核心思路是通过精细化特征蒸馏，将全精度模型中的关键知识迁移到低比特量化模型。具体而言，通过引入空间和通道注意力机制，使量化模型能够关注全精度模型特征图中最重要的区域和通道，从而更有效地学习到有用的信息。这种方法侧重于提升量化模型的学习能力，而非仅仅依赖于生成高质量数据。

技术框架：AKT的整体框架包括一个全精度模型（教师模型）和一个低比特量化模型（学生模型）。训练过程中，全精度模型和量化模型同时处理输入数据，并提取特征图。然后，通过特征蒸馏损失函数，促使量化模型的特征图尽可能地接近全精度模型的特征图。关键在于，特征蒸馏损失函数中引入了空间和通道注意力机制，以精细化特征图的匹配过程。

关键创新：AKT的关键创新在于将空间和通道注意力机制引入到零样本量化的特征蒸馏过程中。这是首次在ZSQ中同时利用这两种注意力信息。通过这种方式，模型能够更准确地识别并学习全精度模型特征图中最重要的部分，从而提高量化模型的性能。此外，该方法还有效缓解了低比特量化模型中常见的梯度爆炸问题。

关键设计：AKT的关键设计包括：1) 使用空间注意力模块来关注特征图中的重要区域；2) 使用通道注意力模块来关注特征图中的重要通道；3) 设计了结合空间和通道注意力信息的特征蒸馏损失函数，该损失函数促使量化模型的特征图在空间和通道维度上都与全精度模型的特征图相似。具体的损失函数形式和注意力模块的实现细节在论文中有详细描述。代码已开源。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AKT在CIFAR-10数据集上取得了显著的性能提升，在3比特量化下达到了SOTA水平。具体而言，AKT在CIFAR-10的3比特和5比特场景中分别取得了显著的精度提升，超过了现有的零样本量化方法。实验结果表明，AKT能够有效地提升低比特量化模型的性能，并缓解梯度爆炸问题。开源代码方便了其他研究者复现和改进该方法。

🎯 应用场景

该研究成果可广泛应用于边缘计算设备上的模型部署，例如智能手机、无人机、物联网设备等。通过零样本量化技术，可以在资源受限的边缘设备上部署高性能的深度学习模型，从而实现更快的推理速度和更低的功耗。这对于实时性要求高的应用场景，如自动驾驶、智能监控等，具有重要意义。未来，该技术有望进一步推动边缘智能的发展。

📄 摘要（原文）

We introduce AKT (Advanced Knowledge Transfer), a novel method to enhance the training ability of low-bit quantized (Q) models in the field of zero-shot quantization (ZSQ). Existing research in ZSQ has focused on generating high-quality data from full-precision (FP) models. However, these approaches struggle with reduced learning ability in low-bit quantization due to its limited information capacity. To overcome this limitation, we propose effective training strategy compared to data generation. Particularly, we analyzed that refining feature maps in the feature distillation process is an effective way to transfer knowledge to the Q model. Based on this analysis, AKT efficiently transfer core information from the FP model to the Q model. AKT is the first approach to utilize both spatial and channel attention information in feature distillation in ZSQ. Our method addresses the fundamental gradient exploding problem in low-bit Q models. Experiments on CIFAR-10 and CIFAR-100 datasets demonstrated the effectiveness of the AKT. Our method led to significant performance enhancement in existing generative models. Notably, AKT achieved significant accuracy improvements in low-bit Q models, achieving state-of-the-art in the 3,5bit scenarios on CIFAR-10. The code is available at https://github.com/Inpyo-Hong/AKT-Advanced-knowledge-Transfer.