CADS: Unleashing the Diversity of Diffusion Models through Condition-Annealed Sampling

📄 arXiv: 2310.17347v4 📥 PDF

作者: Seyedmorteza Sadat, Jakob Buhmann, Derek Bradley, Otmar Hilliges, Romann M. Weber

分类: cs.CV

发布日期: 2023-10-26 (更新: 2024-05-13)

备注: Published as a conference paper at ICLR 2024

期刊: The Twelfth International Conference on Learning Representations (ICLR 2024)

💡 一句话要点

提出CADS以解决扩散模型输出多样性不足问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 条件扩散模型 生成对抗网络 图像生成 高斯噪声 多样性提升 深度学习 计算机视觉

📋 核心要点

  1. 现有条件扩散模型在高引导尺度下生成图像时，输出多样性不足，尤其是在小数据集上训练时更为明显。
  2. 本文提出了一种条件退火采样策略，通过向条件向量添加高斯噪声来增强生成多样性，同时保持样本质量。
  3. 使用CADS，研究者在256×256和512×512的类条件ImageNet生成任务中分别达到了1.70和2.31的最新FID值，显著提升了生成效果。

📝 摘要（中文）

尽管条件扩散模型在数据分布覆盖方面表现良好，但在高分类器自由引导尺度下或小数据集上采样时，输出多样性仍然存在局限。本文将这一问题归因于推理中条件信号的作用，并提出了一种改进的采样策略，能够在高引导尺度下以最小的样本质量损失提高生成多样性。我们的方法通过在推理过程中向条件向量添加计划性、单调递减的高斯噪声来退火条件信号，从而平衡多样性与条件对齐。我们的条件退火扩散采样器（CADS）可与任何预训练模型和采样算法结合使用，并在多个条件生成任务中提升了扩散模型的多样性。

🔬 方法详解

问题定义：本文旨在解决条件扩散模型在高引导尺度下生成图像时输出多样性不足的问题。现有方法在小数据集上训练时，常常导致生成样本的多样性受限，影响了模型的应用效果。

核心思路：论文提出的条件退火采样策略通过在推理过程中向条件向量添加计划性、单调递减的高斯噪声，来平衡生成样本的多样性与条件对齐。这一设计旨在增强模型的生成能力，尤其是在高引导尺度下。

技术框架：整体架构包括预训练的扩散模型和CADS采样器。CADS在推理阶段对条件信号进行退火处理，通过逐步添加噪声来调整条件信号的强度，从而实现多样性与质量的平衡。

关键创新：CADS的主要创新在于其退火条件信号的设计，使得在高引导尺度下生成的样本多样性显著提升。这一方法与传统的采样策略相比，能够有效避免生成样本的单一性。

关键设计：在实现过程中，CADS采用了计划性噪声添加策略，确保噪声的递减是单调的。此外，模型的损失函数和网络结构保持与现有扩散模型一致，以便于与各种预训练模型兼容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CADS在256×256和512×512的类条件ImageNet生成任务中分别达到了1.70和2.31的FID值，显著优于现有的基线模型，展示了其在生成多样性和质量上的卓越性能提升。

🎯 应用场景

该研究的潜在应用领域包括图像生成、艺术创作、虚拟现实等。通过提升扩散模型的生成多样性，CADS可以为各种条件生成任务提供更丰富的输出，进而推动相关领域的发展。未来，CADS的技术也可能被应用于其他生成模型，进一步拓展其应用范围。

📄 摘要（原文）

While conditional diffusion models are known to have good coverage of the data distribution, they still face limitations in output diversity, particularly when sampled with a high classifier-free guidance scale for optimal image quality or when trained on small datasets. We attribute this problem to the role of the conditioning signal in inference and offer an improved sampling strategy for diffusion models that can increase generation diversity, especially at high guidance scales, with minimal loss of sample quality. Our sampling strategy anneals the conditioning signal by adding scheduled, monotonically decreasing Gaussian noise to the conditioning vector during inference to balance diversity and condition alignment. Our Condition-Annealed Diffusion Sampler (CADS) can be used with any pretrained model and sampling algorithm, and we show that it boosts the diversity of diffusion models in various conditional generation tasks. Further, using an existing pretrained diffusion model, CADS achieves a new state-of-the-art FID of 1.70 and 2.31 for class-conditional ImageNet generation at 256$\times$256 and 512$\times$512 respectively.