Noise-Free Score Distillation

📄 arXiv: 2310.17590v1 📥 PDF

作者: Oren Katzir, Or Patashnik, Daniel Cohen-Or, Dani Lischinski

分类: cs.CV

发布日期: 2023-10-26

备注: Project page at https://orenkatzir.github.io/nfsd/

💡 一句话要点

提出无噪声评分蒸馏以优化文本到图像生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 评分蒸馏 文本到图像生成 无噪声蒸馏 扩散模型 生成对抗网络 多模态学习 图像生成

📋 核心要点

  1. 现有的评分蒸馏采样方法在生成内容时依赖于较大的CFG规模，导致生成结果的过平滑现象。
  2. 本文提出的无噪声评分蒸馏方法通过简化SDS过程，减少了对CFG规模的依赖，从而提高了生成效果。
  3. 实验结果表明，NFSD在生成质量上优于传统SDS方法，且在使用较小CFG规模时依然保持高效性。

📝 摘要（中文）

评分蒸馏采样（SDS）已成为非图像领域文本到内容生成的主要方法。本文重新审视了SDS过程，并提出了一种简单的解释，揭示了大规模无分类器引导（CFG）所需的原因，根源于对不必要噪声项的蒸馏。在此基础上，我们提出了一种新颖的无噪声评分蒸馏（NFSD）过程，该过程对原始SDS框架的修改最小。通过这种简化设计，我们在使用名义CFG规模的同时，更有效地蒸馏了预训练的文本到图像扩散模型。这一战略选择避免了结果的过平滑，确保生成的数据既真实又符合所需提示。我们提供了NFSD与SDS及其他方法的定性比较示例，以证明NFSD的有效性。

🔬 方法详解

问题定义：本文旨在解决现有评分蒸馏采样方法中对大规模CFG的依赖问题，导致生成结果过于平滑，缺乏真实感。

核心思路：通过引入无噪声评分蒸馏（NFSD）方法，简化了SDS过程，减少了对不必要噪声项的蒸馏，从而优化了生成效果。

技术框架：NFSD方法在原有SDS框架上进行最小修改，主要包括对噪声项的处理和CFG规模的调整，确保生成结果的真实性与多样性。

关键创新：NFSD的核心创新在于其对噪声项的重新解释和处理，使得生成过程不再依赖于大规模CFG，从而避免了过平滑现象。

关键设计：在NFSD中，采用了较小的CFG规模，并设计了相应的损失函数，以确保生成数据的质量和符合性，同时保持了模型的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，NFSD在生成质量上显著优于传统的SDS方法，尤其是在使用较小CFG规模时，生成结果的真实感和多样性得到了有效提升。定性比较表明，NFSD生成的图像更符合输入提示，且视觉效果更佳。

🎯 应用场景

该研究在文本到图像生成领域具有广泛的应用潜力，尤其是在需要高质量生成内容的场景中，如广告创作、游戏设计和虚拟现实等。通过优化生成过程，NFSD能够为创作者提供更真实、符合需求的视觉内容，提升用户体验。

📄 摘要（原文）

Score Distillation Sampling (SDS) has emerged as the de facto approach for text-to-content generation in non-image domains. In this paper, we reexamine the SDS process and introduce a straightforward interpretation that demystifies the necessity for large Classifier-Free Guidance (CFG) scales, rooted in the distillation of an undesired noise term. Building upon our interpretation, we propose a novel Noise-Free Score Distillation (NFSD) process, which requires minimal modifications to the original SDS framework. Through this streamlined design, we achieve more effective distillation of pre-trained text-to-image diffusion models while using a nominal CFG scale. This strategic choice allows us to prevent the over-smoothing of results, ensuring that the generated data is both realistic and complies with the desired prompt. To demonstrate the efficacy of NFSD, we provide qualitative examples that compare NFSD and SDS, as well as several other methods.