AST: Effective Dataset Distillation through Alignment with Smooth and High-Quality Expert Trajectories

📄 arXiv: 2310.10541v2 📥 PDF

作者: Jiyuan Shen, Wenzhuo Yang, Kwok-Yan Lam

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-10-16 (更新: 2023-11-27)

DOI: 10.48550/arXiv.2310.10541

💡 一句话要点

提出AST框架以通过专家轨迹对数据蒸馏进行有效对齐

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据蒸馏 机器学习 模型训练 专家轨迹 参数对齐 剪切损失 梯度惩罚

📋 核心要点

  1. 现有数据蒸馏方法在性能上未能达到预期，蒸馏数据集无法有效替代原始数据集。
  2. 本文提出AST框架，利用专家轨迹的平滑性来改善学生模型的参数对齐，增强数据蒸馏效果。
  3. 实验结果表明，AST在不同规模和分辨率的数据集上显著优于现有方法，提升了数据蒸馏的有效性。

📝 摘要（中文）

在机器学习过程中，训练大型AI模型通常需要大规模数据集，这使得训练和参数调优过程既耗时又昂贵。为了解决这一问题，部分研究者通过从真实数据集中精心合成少量高度代表性和信息丰富的样本，提出了数据蒸馏（Dataset Distillation, DD）的方法。尽管该领域近期取得了一些进展，但现有方法的性能仍未达到预期，蒸馏数据集无法有效替代原始数据集。本文提出了一种名为AST的有效数据蒸馏框架，通过对专家和学生模型之间的相互影响进行利用，显著提升了蒸馏效果。

🔬 方法详解

问题定义：本文旨在解决现有数据蒸馏方法在性能上的不足，尤其是蒸馏数据集无法有效替代原始数据集的问题。现有方法往往忽视了专家模型与学生模型之间的相互影响。

核心思路：论文提出的AST框架通过对专家轨迹的平滑性进行利用，改善学生模型的参数对齐，从而提升数据蒸馏的效果。通过引入剪切损失和梯度惩罚，调节专家轨迹生成中的参数变化速率。

技术框架：AST框架主要包括专家轨迹生成、学生模型参数对齐和蒸馏数据集合成三个模块。首先生成高质量的专家轨迹，然后通过代表性初始化和内循环损失平衡来优化学生模型的参数对齐。

关键创新：AST的核心创新在于通过专家轨迹的平滑性来影响学生模型的参数对齐，这是与现有方法的本质区别。通过引入中间匹配损失和权重扰动策略，进一步减少了潜在的累积误差。

关键设计：在损失函数设计上，结合了剪切损失和梯度惩罚，以调节专家轨迹生成中的参数变化速率。同时，采用代表性初始化和内循环损失平衡来应对随机初始化变量的敏感性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AST框架在不同规模和分辨率的数据集上均显著优于现有方法，具体性能提升幅度达到XX%（具体数据需根据实验结果补充），验证了其在数据蒸馏领域的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器学习模型的训练优化、数据集构建以及资源受限环境下的模型部署。通过提高数据蒸馏的有效性，AST框架能够降低训练成本，提升模型性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Training large AI models typically requires large-scale datasets in the machine learning process, making training and parameter-tuning process both time-consuming and costly. Some researchers address this problem by carefully synthesizing a very small number of highly representative and informative samples from real-world datasets. This approach, known as Dataset Distillation (DD), proposes a perspective for data-efficient learning. Despite recent progress in this field, the performance of existing methods still cannot meet expectations, and distilled datasets cannot effectively replace original datasets. In this paper, unlike previous methods that focus solely on improving the effectiveness of student distillation, we recognize and leverage the important mutual influence between expert and student models. We observed that the smoothness of expert trajectories has a significant impact on subsequent student parameter alignment. Based on this, we propose an effective DD framework named AST, standing for Alignment with Smooth and high-quality expert Trajectories. We devise the integration of clipping loss and gradient penalty to regulate the rate of parameter changes in expert trajectory generation. To further refine the student parameter alignment with expert trajectory, we put forward representative initialization for the synthetic dataset and balanced inner-loop loss in response to the sensitivity exhibited towards randomly initialized variables during distillation. We also propose two enhancement strategies, namely intermediate matching loss and weight perturbation, to mitigate the potential occurrence of cumulative errors. We conduct extensive experiments on datasets of different scales, sizes, and resolutions. The results demonstrate that the proposed method significantly outperforms prior methods.