On the Design of One-step Diffusion via Shortcutting Flow Paths

📄 arXiv: 2512.11831v2 📥 PDF

作者: Haitao Lin, Peiyan Hu, Minsi Ren, Zhifeng Gao, Zhi-Ming Ma, Guolin ke, Tailin Wu, Stan Z. Li

分类: cs.LG, cs.CV

发布日期: 2025-12-03 (更新: 2025-12-16)

备注: 10 pages of main body, conference paper

💡 一句话要点

提出单步扩散通用设计框架，显著提升ImageNet图像生成质量，无需预训练。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 单步扩散模型 图像生成 设计框架 无分类器指导 ImageNet shortcut模型 扩散模型

📋 核心要点

  1. 现有单步扩散模型设计理论推导与实践紧密耦合，限制了设计空间的探索。
  2. 提出通用设计框架，解耦组件选择，为shortcut模型提供理论支持，便于系统性改进。
  3. 改进后的单步模型在ImageNet-256x256上取得SOTA结果，FID50k达到2.85，无需预训练。

📝 摘要（中文）

本文针对单步扩散模型（shortcut models）的设计空间探索不足的问题，提出了一个通用的设计框架。该框架为现有shortcut模型的有效性提供了理论依据，并将具体组件的选择解耦，从而能够系统地识别改进点。通过提出的改进，单步模型在ImageNet-256x256上，使用无分类器指导的单步生成设置下，实现了2.85的FID50k新state-of-the-art，并且通过2倍的训练步数进一步达到了2.52的FID50k。值得注意的是，该模型不需要预训练、知识蒸馏或课程学习。这项工作降低了shortcut模型中组件级别创新的门槛，并促进了对其设计空间的原则性探索。

🔬 方法详解

问题定义：现有单步扩散模型（shortcut models）的设计方法理论推导和实际实现紧密耦合，导致设计空间模糊不清，难以进行系统性的改进和优化。缺乏一个通用的框架来指导组件级别的创新，阻碍了单步扩散模型的发展。

核心思路：本文的核心思路是构建一个通用的设计框架，将单步扩散模型的设计解耦为多个独立的组件选择。通过理论分析，为现有shortcut模型的有效性提供理论依据，并在此基础上系统性地识别潜在的改进点。这种解耦的设计方法使得研究人员可以更加灵活地探索不同的组件组合，从而提升模型的性能。

技术框架：该框架主要包含以下几个关键模块：1) 扩散过程的重新参数化，使其适用于单步生成；2) 噪声预测器的设计，用于预测添加到图像中的噪声；3) 采样策略的优化，以提高生成图像的质量；4) 损失函数的设计，用于训练噪声预测器。整体流程是从输入图像开始，添加噪声，然后使用噪声预测器预测噪声，最后通过采样策略生成图像。

关键创新：该论文的关键创新在于提出了一个通用的设计框架，该框架将单步扩散模型的设计解耦为多个独立的组件选择，从而能够系统性地识别改进点。与现有方法相比，该框架更加灵活和可扩展，允许研究人员更加自由地探索不同的设计选择。此外，该论文还提出了一些具体的改进，例如优化噪声预测器的设计和采样策略，从而进一步提升了模型的性能。

关键设计：在噪声预测器的设计上，采用了更深的网络结构和更复杂的注意力机制，以提高噪声预测的准确性。在采样策略上，采用了自适应的步长调整方法，以提高生成图像的质量。损失函数方面，使用了加权的L1损失和L2损失的组合，以平衡生成图像的清晰度和真实性。训练过程中，没有使用预训练、知识蒸馏或课程学习等技巧。

📊 实验亮点

实验结果表明，通过提出的改进，单步模型在ImageNet-256x256上，使用无分类器指导的单步生成设置下，实现了2.85的FID50k新state-of-the-art。通过2倍的训练步数，FID50k进一步达到了2.52。该模型无需预训练、知识蒸馏或课程学习，显著降低了训练成本。

🎯 应用场景

该研究成果可广泛应用于图像生成领域，例如图像编辑、图像修复、超分辨率重建等。其无需预训练的特性降低了使用门槛，使得单步扩散模型更容易部署到资源受限的设备上。未来，该框架可以进一步扩展到视频生成、3D内容生成等领域，具有广阔的应用前景。

📄 摘要（原文）

Recent advances in few-step diffusion models have demonstrated their efficiency and effectiveness by shortcutting the probabilistic paths of diffusion models, especially in training one-step diffusion models from scratch (\emph{a.k.a.} shortcut models). However, their theoretical derivation and practical implementation are often closely coupled, which obscures the design space. To address this, we propose a common design framework for representative shortcut models. This framework provides theoretical justification for their validity and disentangles concrete component-level choices, thereby enabling systematic identification of improvements. With our proposed improvements, the resulting one-step model achieves a new state-of-the-art FID50k of 2.85 on ImageNet-256x256 under the classifier-free guidance setting with one step generation, and further reaches FID50k of 2.52 with 2x training steps. Remarkably, the model requires no pre-training, distillation, or curriculum learning. We believe our work lowers the barrier to component-level innovation in shortcut models and facilitates principled exploration of their design space.