Information-Guided Diffusion Sampling for Dataset Distillation

📄 arXiv: 2507.04619v1 📥 PDF

作者: Linfeng Ye, Shayan Mohajer Hamidi, Guang Li, Takahiro Ogawa, Miki Haseyama, Konstantinos N. Plataniotis

分类: cs.LG, cs.AI, cs.CV, cs.IT

发布日期: 2025-07-07

💡 一句话要点

提出信息引导的扩散采样以解决数据集蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 扩散模型 信息论 变分估计 机器学习 计算机视觉 模型优化

📋 核心要点

  1. 现有的数据集蒸馏方法在低每类图像（IPC）设置下生成的样本缺乏多样性，影响模型性能。
  2. 本文提出信息引导的扩散采样（IGDS），通过最大化原型信息和上下文信息的组合来改善数据集蒸馏效果。
  3. 在Tiny ImageNet和ImageNet子集上的实验表明，IGDS在低IPC情况下显著优于现有方法，提升了数据集的有效性。

📝 摘要（中文）

数据集蒸馏旨在创建一个紧凑的数据集，以保留重要信息并维持模型性能。尽管扩散模型在此任务中展现出潜力，但在低每类图像（IPC）设置下生成样本缺乏多样性。本文从信息论的角度出发，识别出蒸馏数据集必须保留的两种关键信息：原型信息和上下文信息。我们提出在扩散模型采样过程中最大化这两种信息的组合，并开发变分估计以紧密下界这些量。实验结果表明，所提出的方法在所有IPC设置下均显著优于现有方法，尤其是在低IPC情况下。

🔬 方法详解

问题定义：本文解决的数据集蒸馏问题是如何在低每类图像（IPC）设置下生成多样性不足的样本。现有方法在此情况下无法有效保留重要信息，导致模型性能下降。

核心思路：论文的核心思路是从信息论的角度出发，识别并最大化蒸馏数据集中的原型信息和上下文信息，以确保生成样本的多样性和标签相关性。

技术框架：整体架构包括信息引导的扩散采样过程，首先通过变分估计计算原型信息和上下文信息，然后在扩散模型的采样过程中进行优化。主要模块包括信息提取、变分下界计算和扩散模型采样。

关键创新：最重要的技术创新在于提出了信息引导的扩散采样（IGDS），通过结合原型信息和上下文信息的最大化，显著改善了数据集蒸馏效果，尤其是在低IPC情况下。

关键设计：在参数设置上，β值根据IPC进行调整，以平衡原型信息和上下文信息的贡献。此外，采用变分方法来近似计算信息量，确保了计算的可行性和效率。具体的损失函数设计也考虑了信息保留的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，信息引导的扩散采样（IGDS）在Tiny ImageNet和ImageNet子集上显著优于现有方法，尤其是在低IPC情况下，性能提升幅度达到XX%（具体数据待补充），验证了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、深度学习模型的训练和优化等。通过有效的数据集蒸馏，能够在资源有限的情况下提升模型的性能，具有重要的实际价值和广泛的应用前景，尤其是在低数据量的场景中。

📄 摘要（原文）

Dataset distillation aims to create a compact dataset that retains essential information while maintaining model performance. Diffusion models (DMs) have shown promise for this task but struggle in low images-per-class (IPC) settings, where generated samples lack diversity. In this paper, we address this issue from an information-theoretic perspective by identifying two key types of information that a distilled dataset must preserve: ($i$) prototype information $\mathrm{I}(X;Y)$, which captures label-relevant features; and ($ii$) contextual information $\mathrm{H}(X | Y)$, which preserves intra-class variability. Here, $(X,Y)$ represents the pair of random variables corresponding to the input data and its ground truth label, respectively. Observing that the required contextual information scales with IPC, we propose maximizing $\mathrm{I}(X;Y) + β\mathrm{H}(X | Y)$ during the DM sampling process, where $β$ is IPC-dependent. Since directly computing $\mathrm{I}(X;Y)$ and $\mathrm{H}(X | Y)$ is intractable, we develop variational estimations to tightly lower-bound these quantities via a data-driven approach. Our approach, information-guided diffusion sampling (IGDS), seamlessly integrates with diffusion models and improves dataset distillation across all IPC settings. Experiments on Tiny ImageNet and ImageNet subsets show that IGDS significantly outperforms existing methods, particularly in low-IPC regimes. The code will be released upon acceptance.