SAGE: Subspace Alignment for Classifier-Free Guidance in Mixture-of-Experts Diffusion Models

📄 arXiv: 2609.34525v1 📥 PDF

作者: Boyu Zhang, Yangming Cheng, Ning Zhang, Pengfei Liu, Weijie Li, Yifan Gao, Hangyu Li, Litong Gong

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出SAGE以解决Mixture-of-Experts扩散模型中的分类器无关引导问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 扩散模型 混合专家 分类器无关引导 生成模型 激活对齐 深度学习 正则化方法

📋 核心要点

  1. 现有的扩散模型在结合分类器无关引导时，容易出现激活子空间不一致的问题，导致生成质量下降。
  2. SAGE通过在训练阶段对齐无条件MoE激活到条件子空间，解决了激活漂移问题，同时保持了路由的多样性。
  3. 实验结果显示，SAGE在玩具实验中抑制了极端漂移9.2倍，并在大规模模型中提升了9.3%的生成质量。

📝 摘要（中文）

扩散变换器与混合专家（MoE）路由是扩展生成模型的主要方法。分类器无关引导（CFG）对生成质量至关重要，但过高的引导比例会导致崩溃。我们发现了它们组合中的一种未报告的失败模式：两个CFG分支独立路由，导致其激活占据不同的子空间。无条件写入使得条件子空间被离开，而CFG在引导比例中线性放大该残差。我们提出了SAGE，这是一种训练时正则化器，可以在不限制路由多样性的情况下，将无条件MoE激活对齐到条件子空间，且在推理时无额外成本。玩具实验表明，SAGE显著抑制了极端漂移，提升幅度达到9.2倍。在扩展到一个10亿参数的文本到图像模型时，SAGE显著提高了生成质量，DPG-Bench性能提升9.3%。大量实验表明，SAGE始终优于基线。

🔬 方法详解

问题定义：论文旨在解决混合专家扩散模型中分类器无关引导导致的激活子空间不一致问题。现有方法在高引导比例下容易出现生成质量下降和激活漂移现象。

核心思路：SAGE的核心思路是通过训练时的正则化，将无条件MoE激活对齐到条件子空间，从而避免激活漂移，同时不限制路由的多样性。

技术框架：SAGE的整体架构包括两个主要模块：无条件MoE激活和条件子空间对齐。训练过程中，SAGE通过正则化损失函数来实现激活对齐，而在推理阶段则不增加额外的计算成本。

关键创新：SAGE的主要创新在于提出了一种新的正则化方法，能够在不牺牲模型灵活性的情况下，有效对齐不同子空间的激活。这与现有方法的本质区别在于，SAGE不需要在推理时进行额外的计算。

关键设计：在设计上，SAGE采用了特定的损失函数来量化无条件激活与条件子空间之间的距离，并通过动态调整引导比例来优化生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAGE在玩具实验中抑制了激活漂移9.2倍，并在扩展到10亿参数的文本到图像模型时，生成质量提升了9.3%。这些结果显示SAGE在提升生成模型性能方面的显著效果，超越了现有基线。

🎯 应用场景

该研究的潜在应用领域包括图像生成、文本生成以及其他需要高质量生成的任务。SAGE的引入可以显著提升生成模型的性能，具有广泛的实际价值，尤其是在需要高保真度和多样性的生成任务中。未来，SAGE可能会影响更多生成模型的设计与优化。

📄 摘要（原文）

Diffusion Transformers with Mixture-of-Experts (MoE) routing are a leading recipe for scaling generative models. Classifier-Free Guidance (CFG) is essential for generation quality, yet excessively high guidance scales trigger collapse. We identify a previously unreported failure mode in their combination: the two CFG branches route independently, so their realized activations occupy different subspaces. The unconditional write then leaves the conditional subspace, and CFG amplifies that residual linearly in the guidance scale. We propose SAGE, a training-time regularizer that aligns unconditional MoE activations to the conditional subspace without restricting routing diversity, at zero inference cost. Toy experiments show that SAGE dramatically suppresses extreme drift by 9.2x. When scaled to a 1B-parameter text-to-image model, SAGE significantly improves generation quality, delivering a 9.3% boost in peak DPG-Bench performance. Extensive experiments demonstrate that SAGE consistently outperforms the baseline.