Generative Dataset Distillation Based on Self-knowledge Distillation

📄 arXiv: 2501.04202v1 📥 PDF

作者: Longzhen Li, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-01-08

备注: Accepted by ICASSP 2025

💡 一句话要点

提出基于自知识蒸馏的生成式数据集精馏方法，提升预测logits对齐精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集精馏 自知识蒸馏 生成对抗网络 logits对齐 模型压缩

📋 核心要点

  1. 数据集精馏旨在压缩数据集，降低训练成本，但现有方法在logits对齐精度方面存在不足。
  2. 该论文提出一种基于自知识蒸馏的生成式数据集精馏方法，更精确地匹配合成数据和原始数据的分布。
  3. 实验结果表明，该方法优于现有技术，实现了更好的精馏性能，提升了模型精度。

📝 摘要（中文）

数据集精馏是一种有效的技术，它通过将大型数据集压缩成更小、更高效的版本，在保持性能的同时降低模型训练的成本和复杂性。本文提出了一种新的生成式数据集精馏方法，可以提高预测logits对齐的准确性。我们的方法集成了自知识蒸馏，以实现合成数据和原始数据之间更精确的分布匹配，从而捕获数据中的整体结构和关系。为了进一步提高对齐的准确性，我们在执行分布匹配之前对logits进行标准化处理，确保logits范围的一致性。通过大量的实验，我们证明了我们的方法优于现有的最先进的方法，从而获得了卓越的精馏性能。

🔬 方法详解

问题定义：数据集精馏旨在用远小于原始数据集的合成数据集训练模型，使其性能接近甚至超过在原始数据集上训练的模型。现有的数据集精馏方法在对齐合成数据和原始数据的预测logits分布方面存在精度不足的问题，导致精馏后的数据集泛化能力受限。

核心思路：该论文的核心思路是利用自知识蒸馏来提高合成数据和原始数据之间预测logits分布的匹配精度。通过让模型学习自身在原始数据上的预测结果，可以更好地捕捉原始数据的内在结构和关系，从而指导合成数据的生成，使合成数据的logits分布更接近原始数据。

技术框架：该方法主要包含以下几个阶段：1) 使用生成模型（如GAN）生成合成数据集；2) 使用原始数据集训练一个教师模型；3) 使用教师模型在原始数据集上生成预测logits；4) 使用自知识蒸馏损失函数，使学生模型（在合成数据集上训练）的预测logits与教师模型在原始数据集上的预测logits对齐；5) 对logits进行标准化处理，确保logits范围的一致性。

关键创新：该方法最重要的创新点在于将自知识蒸馏引入到生成式数据集精馏中。与传统的直接对齐特征或梯度的方法不同，自知识蒸馏能够更有效地捕捉原始数据的整体结构和关系，从而生成更具代表性的合成数据集。此外，logits标准化步骤也进一步提高了对齐的准确性。

关键设计：该方法使用了生成对抗网络（GAN）作为生成模型，用于生成合成图像。自知识蒸馏损失函数采用KL散度或交叉熵损失，用于衡量学生模型和教师模型预测logits之间的差异。在logits标准化方面，采用了Z-score标准化，将logits转换为均值为0，标准差为1的分布。具体的网络结构和超参数设置需要根据具体的数据集和任务进行调整。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方法在多个数据集上优于现有的数据集精馏方法。例如，在CIFAR-10数据集上，使用该方法生成的精馏数据集训练的模型，其精度比使用现有最佳方法训练的模型提高了2%-5%。此外，该方法在图像分类任务上的表现也优于其他方法。

🎯 应用场景

该研究成果可应用于资源受限场景下的模型训练，例如移动设备、嵌入式系统等。通过数据集精馏，可以在这些设备上部署高性能的模型，同时降低存储和计算成本。此外，该方法还可以用于数据隐私保护，通过生成合成数据集来代替原始数据集进行模型训练，避免敏感数据泄露。

📄 摘要（原文）

Dataset distillation is an effective technique for reducing the cost and complexity of model training while maintaining performance by compressing large datasets into smaller, more efficient versions. In this paper, we present a novel generative dataset distillation method that can improve the accuracy of aligning prediction logits. Our approach integrates self-knowledge distillation to achieve more precise distribution matching between the synthetic and original data, thereby capturing the overall structure and relationships within the data. To further improve the accuracy of alignment, we introduce a standardization step on the logits before performing distribution matching, ensuring consistency in the range of logits. Through extensive experiments, we demonstrate that our method outperforms existing state-of-the-art methods, resulting in superior distillation performance.