PRISM: Precision-Recall Informed Data-Free Knowledge Distillation via Generative Diffusion

📄 arXiv: 2509.16897v1 📥 PDF

作者: Xuewan He, Jielei Wang, Zihan Cheng, Yuchen Su, Shiyue Huang, Guoming Lu

分类: cs.CV

发布日期: 2025-09-21

💡 一句话要点

PRISM：通过生成扩散模型实现精确召回指导的无数据知识蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无数据知识蒸馏 生成扩散模型 精确率-召回率 能量引导 提示工程

📋 核心要点

  1. 现有无数据知识蒸馏方法在合成大规模图像时易出现模式崩溃，限制了知识迁移效果。
  2. PRISM提出一种精确率-召回率指导的合成方法，通过能量引导和多样化提示工程提升数据质量。
  3. 实验表明，PRISM在各种大规模图像数据集上表现优异，并提升了模型的领域泛化能力。

📝 摘要（中文）

无数据知识蒸馏(DFKD)在没有访问真实分布内(ID)数据的情况下，将知识从教师模型迁移到学生模型。现有方法在小规模图像上表现良好，但在合成大规模图像时容易出现模式崩溃，导致知识迁移受限。最近，利用先进的生成模型合成逼真的图像成为一种有前景的替代方案。然而，直接使用现成的扩散模型生成数据集面临精确率-召回率的挑战：1)确保合成数据与真实分布对齐，2)确保覆盖真实ID流形。为此，我们提出PRISM，一种精确率-召回率指导的合成方法。具体来说，我们引入能量引导的分布对齐，以避免生成分布外样本，并设计多样化的提示工程，以增强对真实ID流形的覆盖。在各种大规模图像数据集上的大量实验证明了PRISM的优越性。此外，我们证明了使用PRISM训练的模型表现出强大的领域泛化能力。

🔬 方法详解

问题定义：论文旨在解决无数据知识蒸馏（DFKD）中，利用生成模型合成大规模图像时面临的精度-召回率问题。现有方法直接使用扩散模型生成数据，难以保证合成数据与真实分布对齐，且对真实数据流形的覆盖度不足，导致知识迁移效果不佳。

核心思路：PRISM的核心思路是通过精确率-召回率指导的合成方法，提升生成数据的质量。具体来说，通过能量引导的分布对齐来提高生成数据的精度，避免生成分布外样本；通过多样化的提示工程来提高生成数据的召回率，增强对真实ID流形的覆盖。

技术框架：PRISM包含两个主要模块：能量引导的分布对齐和多样化的提示工程。能量引导的分布对齐模块利用预训练模型的能量函数来评估生成样本的质量，并引导生成过程朝着能量较低的方向进行，从而避免生成分布外样本。多样化的提示工程模块通过设计不同的提示词，引导扩散模型生成更多样化的样本，从而增强对真实ID流形的覆盖。

关键创新：PRISM的关键创新在于将能量函数和提示工程相结合，用于指导扩散模型的生成过程，从而在无数据知识蒸馏中实现更高的精度和召回率。与现有方法相比，PRISM能够生成更高质量的合成数据，从而提升知识迁移的效果。

关键设计：能量引导的分布对齐模块使用预训练分类器的softmax输出的负对数作为能量函数。多样化的提示工程模块通过随机采样不同的提示词，并结合图像增强技术，来生成更多样化的样本。损失函数包括教师模型的预测结果与学生模型的预测结果之间的KL散度，以及能量函数的正则化项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PRISM在多个大规模图像数据集上进行了实验，包括ImageNet、CIFAR-100等。实验结果表明，PRISM在知识蒸馏任务中显著优于现有的无数据知识蒸馏方法。例如，在ImageNet数据集上，使用PRISM训练的学生模型比使用其他方法训练的学生模型提高了多个百分点。此外，实验还证明了PRISM训练的模型具有更强的领域泛化能力。

🎯 应用场景

PRISM可应用于各种需要知识蒸馏的场景，尤其是在无法获取真实数据的场景下，例如模型压缩、模型加速、隐私保护等。该方法可以帮助训练出更小、更快、更安全的模型，同时保持较高的性能。此外，PRISM在领域泛化方面表现出色，可以应用于跨领域学习和迁移学习等任务。

📄 摘要（原文）

Data-free knowledge distillation (DFKD) transfers knowledge from a teacher to a student without access to the real in-distribution (ID) data. While existing methods perform well on small-scale images, they suffer from mode collapse when synthesizing large-scale images, resulting in limited knowledge transfer. Recently, leveraging advanced generative models to synthesize photorealistic images has emerged as a promising alternative. Nevertheless, directly using off-the-shelf diffusion to generate datasets faces the precision-recall challenges: 1) ensuring synthetic data aligns with the real distribution, and 2) ensuring coverage of the real ID manifold. In response, we propose PRISM, a precision-recall informed synthesis method. Specifically, we introduce Energy-guided Distribution Alignment to avoid the generation of out-of-distribution samples, and design the Diversified Prompt Engineering to enhance coverage of the real ID manifold. Extensive experiments on various large-scale image datasets demonstrate the superiority of PRISM. Moreover, we demonstrate that models trained with PRISM exhibit strong domain generalization.