E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models

📄 arXiv: 2609.37533v1 📥 PDF

作者: Arseny Ivanov, Alexander Kolesov, Alexander Korotin, Ivan Oseledets, Mikhail Goncharov

分类: cs.CL

发布日期: 2026-09-29

💡 一句话要点

提出E-MoE以解决MDM生成质量不足问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 掩蔽扩散模型 混合专家 生成模型 多模态学习 变分自编码器

📋 核心要点

  1. 现有的掩蔽扩散模型在少步生成时样本质量不足，主要由于反向过程的因子化限制。
  2. 本文提出的E-MoE通过混合因子化分布，利用专家路由决策来构建反向过程，避免了后验崩溃问题。
  3. 实验结果表明，E-MoE在多个基准测试中显著提升了生成质量，尤其是在少步生成场景下。

📝 摘要（中文）

掩蔽扩散模型（MDMs）通过逐步解掩多个标记生成序列，但其反向过程通常在位置上是因子化的，这限制了在少步生成中的样本质量。近期研究引入了连续高斯潜变量，作为变分自编码器训练，以捕捉位置间的相关性，但此方法易导致后验崩溃，潜变量被忽视。本文提出增强混合专家（E-MoE），通过混合因子化分布构建反向过程，利用混合专家（MoE）骨干网络的专家路由决策，且不增加活跃参数。E-MoE在合成多模态基准、二值化MNIST和LM1B上改善了少步生成效果。

🔬 方法详解

问题定义：本文旨在解决掩蔽扩散模型在少步生成时样本质量不足的问题。现有方法的反向过程因子化限制了生成效果，尤其在快速生成场景中表现不佳。

核心思路：E-MoE的核心思路是通过混合因子化分布来构建反向过程，利用混合专家网络的路由机制来选择共享潜变量，从而捕捉位置间的相关性，避免后验崩溃。

技术框架：E-MoE的整体架构包括一个混合专家网络作为骨干，负责生成潜变量的路由决策，并通过因子化分布进行反向生成。该框架在不增加活跃参数的情况下，提升了生成质量。

关键创新：E-MoE的主要创新在于其混合因子化分布的构建方式，与传统方法相比，能够更有效地捕捉潜变量间的相关性，避免了后验崩溃现象。

关键设计：在设计上，E-MoE采用了特定的损失函数以优化生成质量，并在网络结构中引入了专家路由机制，以确保潜变量的有效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，E-MoE在合成多模态基准、二值化MNIST和LM1B上均优于因子化基线，尤其在少步生成中，生成质量显著提升，具体提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、图像生成等多模态生成任务。E-MoE的设计能够在快速生成场景中提供更高质量的输出，具有重要的实际价值和广泛的应用前景，尤其是在需要高效生成的实时系统中。

📄 摘要（原文）

Masked diffusion models (MDMs) generate sequences by progressively unmasking several tokens per denoising step, but their reverse process is typically factorized over positions, limiting sample quality in the few-step regime where diffusion's speed advantage over autoregressive decoding matters most. A recent line of work introduces a continuous Gaussian latent, trained as a variational autoencoder, to capture correlations across positions, but such approaches are prone to posterior collapse, where the latent is silently ignored. We propose Enhanced Mixture-of-Experts (E-MoE), which builds the reverse process as a mixture of factorized distributions over a discrete shared latent given by the expert-routing decisions of a Mixture-of-Experts (MoE) backbone, without increasing active parameters over the factorized baseline. Across synthetic multi-modal benchmarks, binarized MNIST, and LM1B, E-MoE improves few-step generation over factorized baselines.