DREAM+: Efficient Dataset Distillation by Bidirectional Representative Matching

📄 arXiv: 2310.15052v1 📥 PDF

作者: Yanqing Liu, Jianyang Gu, Kai Wang, Zheng Zhu, Kaipeng Zhang, Wei Jiang, Yang You

分类: cs.CV

发布日期: 2023-10-23

备注: This is an extension of the ICCV conference version

💡 一句话要点

提出DREAM+以解决数据集蒸馏中的样本选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 样本选择 双向匹配 知识转移 深度学习

📋 核心要点

  1. 现有数据集蒸馏方法在原始图像选择上仅依赖随机采样，导致样本分布不均和多样性不足。
  2. DREAM+通过选择代表性原始图像进行双向匹配，优化了样本选择过程，提升了蒸馏效率。
  3. 实验表明，DREAM+显著减少了蒸馏迭代次数，并在性能上达到了最先进的水平。

📝 摘要（中文）

数据集蒸馏在创建与原始大规模数据集具有相似训练性能的紧凑数据集方面发挥着重要作用，这对于解决数据存储和训练成本的挑战至关重要。现有方法通过匹配合成图像与原始图像的梯度、嵌入分布或训练轨迹来促进知识转移。然而，现有的原始图像选择策略仅限于简单的随机采样，忽视了样本分布的均匀性，可能导致噪声或偏差的匹配目标。此外，样本多样性也未受到随机采样的约束。为了解决这些问题，本文提出了一种新的匹配策略DREAM+，该策略选择代表性的原始图像进行双向匹配。DREAM+适用于多种主流数据集蒸馏框架，并显著减少了蒸馏迭代次数超过15倍而不影响性能。给定足够的训练时间，DREAM+还可以进一步提升性能，达到最先进的结果。

🔬 方法详解

问题定义：本文旨在解决现有数据集蒸馏方法在样本选择上的不足，特别是随机采样导致的样本分布不均和多样性不足的问题。

核心思路：DREAM+通过选择代表性的原始图像进行双向匹配，充分利用信息，优化样本选择过程，从而提高蒸馏效率和效果。

技术框架：DREAM+的整体架构包括样本选择模块和双向匹配模块。样本选择模块负责从原始数据集中选择代表性图像，而双向匹配模块则通过匹配合成图像与选定原始图像的特征进行知识转移。

关键创新：DREAM+的主要创新在于引入了双向匹配策略，克服了现有方法单维匹配的局限性，能够更全面地利用信息。

关键设计：在参数设置上，DREAM+通过优化样本选择算法，确保选择的样本具有更高的代表性。此外，损失函数设计上，采用了多维度的匹配损失，以增强模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DREAM+在蒸馏迭代次数上减少了超过15倍，同时在性能上达到了最先进的水平，显著优于基线方法。这一成果表明DREAM+在数据集蒸馏领域的有效性和优越性。

🎯 应用场景

DREAM+的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效数据处理和存储的场景，如自动驾驶、医疗影像分析和大规模机器学习等。通过减少训练成本和提高模型性能，DREAM+能够为实际应用提供更具经济效益的解决方案。

📄 摘要（原文）

Dataset distillation plays a crucial role in creating compact datasets with similar training performance compared with original large-scale ones. This is essential for addressing the challenges of data storage and training costs. Prevalent methods facilitate knowledge transfer by matching the gradients, embedding distributions, or training trajectories of synthetic images with those of the sampled original images. Although there are various matching objectives, currently the strategy for selecting original images is limited to naive random sampling. We argue that random sampling overlooks the evenness of the selected sample distribution, which may result in noisy or biased matching targets. Besides, the sample diversity is also not constrained by random sampling. Additionally, current methods predominantly focus on single-dimensional matching, where information is not fully utilized. To address these challenges, we propose a novel matching strategy called Dataset Distillation by Bidirectional REpresentAtive Matching (DREAM+), which selects representative original images for bidirectional matching. DREAM+ is applicable to a variety of mainstream dataset distillation frameworks and significantly reduces the number of distillation iterations by more than 15 times without affecting performance. Given sufficient training time, DREAM+ can further improve the performance and achieve state-of-the-art results. We have released the code at github.com/NUS-HPC-AI-Lab/DREAM+.