Functional Cross-layer Experts Routing for One-step Diffusion Distillation
作者: Zile Huang, Ser-nam Lim
分类: cs.CV
发布日期: 2026-10-19
🔗 代码/项目: GITHUB
💡 一句话要点
提出DeMoE以解决一阶段扩散蒸馏中的内部容量结构问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 扩散模型 蒸馏训练 条件路由 计算资源优化 生成模型
📋 核心要点
- 现有的一阶段蒸馏方法在保持生成先验和处理特定提示细节方面面临挑战，缺乏有效的内部容量结构设计。
- 论文提出DeMoE，通过将共享专家与条件路由的专家切片结合，优化了扩散模型的内部计算分配。
- 在一阶段FLUX.2-4B生成任务中，DeMoE的GenEval得分为0.8220，显著超越了密集基线，且在复杂组合和计数任务中表现优异。
📝 摘要（中文）
一阶段蒸馏将扩散轨迹压缩为单次前向评估，但如何在剩余的传递中构建内部容量仍未得到充分探索。在此背景下，论文将这一挑战形式化为功能分配。分析表明，当专家干扰超过共享传递时，解耦表示是有益的，建议使用始终活跃的共享主干并增强条件路由的残差，而非标准的孤立MoE架构。提出的DeMoE将持久共享专家与条件路由的专家切片相结合，经过一阶段的分布匹配目标训练，取得了显著的效果。
🔬 方法详解
问题定义：论文要解决的问题是如何在一阶段扩散蒸馏中有效构建内部容量，以同时保持生成先验和处理特定提示细节。现有方法在这方面存在不足，无法实现高效的计算分配。
核心思路：论文的核心解决思路是通过功能分配来优化内部计算，提出DeMoE架构，结合持久的共享专家和条件路由的专家切片，以提高模型的表现和效率。
技术框架：DeMoE的整体架构包括一个始终活跃的共享主干网络，配合条件路由的残差模块，采用一阶段的分布匹配目标进行训练，确保在生成过程中高效利用计算资源。
关键创新：最重要的技术创新点在于提出了条件路由的专家切片机制，这与传统的孤立MoE架构本质上不同，能够更好地平衡共享与专用计算的需求。
关键设计：在设计上，DeMoE使用了特定的损失函数来优化分布匹配，并通过执行路由监督来提升模型的训练效果，同时在网络结构上保持了较高的灵活性和可扩展性。
🖼️ 关键图片
📊 实验亮点
在一阶段FLUX.2-4B生成任务中，DeMoE实现了0.8220的GenEval得分，仅激活80.5%的图像FFN宽度，显著超越了密集一阶段基线，并在复杂组合和计数任务中表现优于50步教师模型，展示了其在单步模型中的最佳保真度和多样性。
🎯 应用场景
该研究的潜在应用领域包括图像生成、计算机视觉和自然语言处理等领域，能够在多种生成任务中实现高效的模型压缩和性能提升。未来，DeMoE的设计理念可能会影响其他领域的模型架构优化，推动更高效的AI系统发展。
📄 摘要（原文）
One-step distillation compresses diffusion trajectories into a single forward evaluation, yet how internal capacity should be structured within that remaining pass remains largely unexplored. In this setting, identical parameters must simultaneously preserve general generative priors and resolve prompt-specific details without iterative refinement. We formalize this challenge as functional allocation. Our analysis reveals that decoupling representations is beneficial only when expert interference outweighs shared transfer, favoring an always-active shared backbone augmented with conditionally routed residuals over standard isolated MoE architectures. We propose DeMoE, which pairs a persistent shared expert with conditionally routed expert slices across image FFNs, trained under a one-step distribution-matching objective with executed-route supervision. On one-step FLUX.2-4B generation, DeMoE achieves a GenEval score of 0.8220 while activating only 80.5% of the image-FFN width, substantially outperforming dense one-step baselines, matching the 50-step teacher overall, and surpassing it on complex composition and counting. Across COCO-10K, DeMoE establishes state-of-the-art fidelity and diversity among single-step models, demonstrating that structured internal computation reallocation provides a superior compression paradigm for diffusion models. Code is available at https://github.com/toffeecat/demoe-ttt-router.