Speedrunning ImageNet Diffusion

📄 arXiv: 2512.12386v1 📥 PDF

作者: Swayam Bhanded

分类: cs.CV

发布日期: 2025-12-13

💡 一句话要点

提出SR-DiT，通过集成多种优化策略加速ImageNet扩散模型训练。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)

关键词: 扩散模型 图像生成 Transformer 训练加速 表征对齐 Token路由 ImageNet

📋 核心要点

  1. 现有扩散模型训练效率提升方法研究分散，缺乏系统集成和协同优化。
  2. SR-DiT通过集成token路由、架构改进和训练修改，并结合表征对齐，实现高效训练。
  3. 实验表明，SR-DiT在小模型和短训练周期下，取得了与大模型相当的性能。

📝 摘要（中文）

最近的进展显著提高了扩散Transformer的训练效率。然而，这些技术大多是孤立地进行研究的，忽略了结合多种方法所带来的潜在协同效应。我们提出了SR-DiT（Speedrun Diffusion Transformer），一个系统地集成了token路由、架构改进和训练修改的框架，并在此基础上进行表征对齐。我们的方法仅使用一个1.4亿参数的模型，在40万次迭代中，无需分类器引导，即可在ImageNet-256上实现FID 3.49和KDD 0.319，与使用6.85亿参数模型训练更长时间的结果相当。据我们所知，这是该模型尺寸下的最先进结果。通过广泛的消融研究，我们确定了哪些技术组合最有效，并记录了协同效应和不兼容性。我们将我们的框架作为一个计算可访问的基线发布，以供未来研究使用。

🔬 方法详解

问题定义：现有扩散模型训练效率提升方法的研究往往是孤立的，没有充分挖掘不同方法之间的协同效应。这导致即使是参数量很大的模型，也需要很长的训练时间才能达到理想的生成质量。因此，如何系统地集成和优化各种加速技术，以提高扩散模型的训练效率，是一个亟待解决的问题。

核心思路：SR-DiT的核心思路是通过系统地集成token路由、架构改进和训练修改等多种优化策略，并结合表征对齐，充分利用它们之间的协同效应，从而在不显著增加模型参数量的情况下，大幅提高扩散模型的训练效率。这种集成式的优化方法旨在克服孤立优化带来的局限性，实现整体性能的提升。

技术框架：SR-DiT的整体框架是在扩散Transformer的基础上，首先进行表征对齐，然后集成token路由、架构改进和训练修改等模块。具体来说，token路由用于减少计算量，架构改进旨在提升模型表达能力，训练修改则用于加速收敛。这些模块协同工作，共同提升模型的训练效率和生成质量。

关键创新：SR-DiT的关键创新在于其系统集成的优化方法。它不是简单地堆叠各种优化技术，而是通过仔细选择和组合，充分利用它们之间的协同效应。此外，SR-DiT还通过消融实验，深入分析了不同技术组合的效果，为未来的研究提供了有价值的指导。与现有方法相比，SR-DiT更加注重整体优化和协同效应，而不是孤立地改进单个模块。

关键设计：SR-DiT的关键设计包括：1) 精心设计的token路由策略，用于减少计算量，同时保持模型的表达能力；2) 针对扩散模型特点的架构改进，例如更有效的注意力机制；3) 加速收敛的训练修改，例如自适应学习率调整；4) 表征对齐，用于提高生成图像的质量。具体的参数设置和网络结构细节在论文中进行了详细描述。

📊 实验亮点

SR-DiT在ImageNet-256上取得了显著的性能提升。仅使用1.4亿参数的模型，在40万次迭代中，无需分类器引导，即可实现FID 3.49和KDD 0.319。这一结果与使用6.85亿参数模型训练更长时间的结果相当，表明SR-DiT在小模型和短训练周期下具有强大的竞争力。消融实验也揭示了不同技术组合的有效性，为未来的研究提供了重要参考。

🎯 应用场景

SR-DiT的潜在应用领域包括图像生成、图像编辑、视频生成等。其高效的训练特性使得在资源受限的环境下训练高质量的扩散模型成为可能。该研究的实际价值在于降低了扩散模型的训练成本，加速了其在各个领域的应用。未来，SR-DiT的集成优化思想可以推广到其他生成模型，甚至其他机器学习任务中。

📄 摘要（原文）

Recent advances have significantly improved the training efficiency of diffusion transformers. However, these techniques have largely been studied in isolation, leaving unexplored the potential synergies from combining multiple approaches. We present SR-DiT (Speedrun Diffusion Transformer), a framework that systematically integrates token routing, architectural improvements, and training modifications on top of representation alignment. Our approach achieves FID 3.49 and KDD 0.319 on ImageNet-256 using only a 140M parameter model at 400K iterations without classifier-free guidance - comparable to results from 685M parameter models trained significantly longer. To our knowledge, this is a state-of the-art result at this model size. Through extensive ablation studies, we identify which technique combinations are most effective and document both synergies and incompatibilities. We release our framework as a computationally accessible baseline for future research.