Large Diffusion Models Need More Than EMA

📄 arXiv: 2610.22945v1 📥 PDF

作者: Chuyu Hu, Huanran Chen, Shitong Shao, Yinpeng Dong

分类: cs.LG

发布日期: 2026-10-16

💡 一句话要点

提出调度无关优化以提升大规模扩散模型训练效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 学习率衰减 调度无关优化 参数变异性 生成质量

📋 核心要点

  1. 现有的大规模扩散模型训练方法依赖于恒定学习率和EMA，存在优化效果不理想的问题。
  2. 论文提出了学习率衰减和调度无关优化作为替代方案，旨在改善扩散模型的训练效果。
  3. 实验结果显示，调度无关优化在各个训练阶段均优于EMA，且有效降低了参数变异性。

📝 摘要（中文）

大规模扩散模型通常使用恒定学习率和指数移动平均（EMA）进行训练，尽管学习率衰减和调度无关优化在大语言模型训练中表现出色。本文探讨EMA是否适合扩散训练，或是否存在更强的替代方案。理论分析表明，恒定步长轨迹的平均存在固有的优化限制，而学习率衰减和调度无关优化在标准非凸假设下具有消失平稳性保证。实验证明，学习率衰减与EMA结合在大多数起始点上进一步提升了标准基线，尽管增益对衰减开始时间敏感。调度无关优化避免了这一时间要求，并在训练各阶段始终优于恒定学习率下的EMA，取得了更低的固定评估目标和更好的生成质量。整体结果表明，大规模扩散模型需要的不仅仅是参数平均，优化的有效性需要在方差减少与持续优化之间取得平衡。

🔬 方法详解

问题定义：本文旨在解决大规模扩散模型训练中使用恒定学习率和EMA所带来的优化效果不足的问题。现有方法在参数变异性和持续优化方面存在局限性。

核心思路：论文提出学习率衰减和调度无关优化作为更有效的训练策略，旨在在优化过程中实现更好的平衡，减少参数变异性并保持优化进展。

技术框架：整体架构包括三个主要策略：恒定学习率与EMA结合、学习率衰减、调度无关优化。每种策略在训练过程中发挥不同的作用，旨在提升模型的生成质量和稳定性。

关键创新：最重要的技术创新在于调度无关优化的提出，该方法在各个训练阶段均优于EMA，并且不受学习率衰减开始时间的影响。

关键设计：在参数设置上，学习率衰减的起始时间和衰减速率是关键设计因素。损失函数和网络结构的选择也经过精心设计，以确保不同策略的有效结合。实验中通过对比不同策略的效果，验证了调度无关优化的优越性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，调度无关优化在训练各阶段均优于EMA，且在固定评估目标上实现了更低的数值，生成质量显著提升。与基线相比，结合学习率衰减与EMA的策略在大多数起始点上也表现出更好的效果，显示出该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、自然语言处理和其他需要高质量生成的任务。通过优化扩散模型的训练过程，可以在多个领域实现更高效的模型训练和更优质的生成结果，未来可能对生成模型的广泛应用产生深远影响。

📄 摘要（原文）

Large-scale diffusion models are commonly trained with a constant learning rate (LR) and exponential moving average (EMA), despite the strong performance of LR decay and Schedule-Free optimization in training large language models. We study whether EMA is uniquely suited to diffusion training, or whether stronger alternatives have been underexplored. Our theory shows that averaging a constant-step trajectory has an inherent optimization limitation, whereas LR decay and Schedule-Free optimization admit vanishing stationarity guarantees under standard nonconvex assumptions. Empirically, LR decay and EMA provide complementary benefits: combining decay with EMA further improves the standard baseline at most tested starting points, although the gain remains sensitive to when decay begins. Schedule-Free avoids this timing requirement and consistently outperforms EMA with a constant LR across training stages, achieving both lower fixed-evaluation objectives and better generation quality. Our analysis further shows that all three strategies substantially reduce parameter variability, yet stronger stabilization is not always better: EMA with a constant LR retains comparatively higher parameter variability, while aggressive decay combined with EMA achieves the lowest checkpoint variability but also weakens continued optimization. Schedule-Free substantially reduces parameter variability while preserving more late-stage progress, providing a better balance between parameter stability and continued optimization. Finally, the benefits of Schedule-Free extend beyond pretraining to ReFL and generator-side DMD, demonstrating its transferability across distinct diffusion optimization settings. Overall, our results suggest that large diffusion models need more than parameter averaging alone: effective optimization requires balancing variance reduction with continued optimization.