Few-Step Generation via Data-Space Iteration

📄 arXiv: 2610.12102v1 📥 PDF

作者: Shanchuan Lin, Yansong Peng, Fu-Yun Wang, Haoqi Fan

分类: cs.LG, cs.CV

发布日期: 2026-10-08

💡 一句话要点

提出数据空间迭代以解决生成模型的采样效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成模型 流匹配 蒸馏训练 数据空间迭代 图像生成 高效采样

📋 核心要点

  1. 现有的生成模型在采样时需要多次网络评估，导致效率低下，且单步生成往往牺牲生成质量。
  2. 提出的数据空间迭代框架完全去除流离散化，直接在数据空间中进行迭代生成，提升了生成效率与质量。
  3. 实验结果表明，数据空间迭代在ImageNet 256x256数据集上超越了标准离散化基线，且无需特定的训练调度。

📝 摘要（中文）

流匹配已成为训练高质量生成模型的可扩展范式，但从学习到的概率流中采样需要多次网络评估。蒸馏可以将这一成本降低到一次或几次评估，但单步生成往往牺牲质量，使得少步生成成为实际操作的常态。现有的少步方法沿着概率流进行迭代计算，因此需要固定的、手动选择的时间步离散化，这种离散化通常是启发式选择且调优成本高。我们提出数据空间迭代，这是一种完全去除流离散化的少步生成框架。该方法从噪声开始，使用共享生成器直接在数据空间中精炼预测，每次迭代都训练以产生其能力允许的最佳样本。我们的框架与分布匹配蒸馏（DMD）集成，能够在匹配训练设置下进行控制比较。在类条件的ImageNet 256x256上，数据空间迭代超越了标准离散化基线，并在不需要特定训练的情况下匹配或改善了通过调度搜索选择的变体。这些结果表明，数据空间迭代为快速生成提供了一种简单有效的替代方案。

🔬 方法详解

问题定义：论文旨在解决现有生成模型在采样过程中效率低下的问题，尤其是多次网络评估带来的高计算成本和单步生成质量的下降。

核心思路：提出的数据空间迭代框架通过直接在数据空间中进行迭代生成，消除了对固定时间步离散化的依赖，从而提高了生成效率和样本质量。

技术框架：该框架从噪声开始，使用共享生成器进行多次迭代，每次迭代都旨在生成最优样本。与分布匹配蒸馏（DMD）结合，确保在匹配训练设置下的有效比较。

关键创新：最重要的创新在于去除了流离散化的需求，使得生成过程更加灵活，能够适应不同样本和空间位置的生成难度。

关键设计：在实现中，采用了共享生成器结构，迭代过程中使用了特定的损失函数来优化生成质量，确保每次迭代都能充分利用生成器的能力。实验中未使用特定的调度训练，简化了训练过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，数据空间迭代在类条件ImageNet 256x256数据集上表现优异，超越了标准离散化基线，并在不需要特定训练调度的情况下，匹配或改善了通过调度搜索选择的变体，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视频生成和其他需要高质量生成模型的任务。通过提高生成效率和质量，数据空间迭代能够在艺术创作、游戏开发和虚拟现实等领域发挥重要作用，未来可能推动生成模型的广泛应用。

📄 摘要（原文）

Flow matching has emerged as a scalable paradigm for training high-quality generative models, but sampling from the learned probability flow requires many network evaluations. Distillation can reduce this cost to one or a few evaluations; however, one-step generation often sacrifices quality, making few-step generation the practical operating regime. Existing few-step methods perform their iterative computation along the probability flow and therefore require a fixed, manually chosen timestep discretization. This discretization is often chosen heuristically and is expensive to tune; it may also be restrictive when refinement difficulty differs across samples or spatial locations. We introduce data-space iteration, a few-step generation framework that removes flow discretization altogether. Starting from noise, a shared generator directly refines its prediction in data space, with every iteration trained to produce the best sample permitted by its capacity. Our formulation integrates with distribution matching distillation (DMD) with minimal changes, enabling a controlled comparison between iteration methods under matched training settings. On class-conditional ImageNet 256x256, data-space iteration outperforms standard discretization baselines and matches or improves upon variants selected through schedule search, without requiring schedule-specific training. These results show that data-space iteration provides a simple and effective alternative to discretized flow-space iteration for fast generation.