Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE

📄 arXiv: 2609.38140v1 📥 PDF

作者: Yu Xu, Yuxin Zhang, Xiao Yang, Haotian Yang, Yizhi Wang, Xinwei Huang, Minxuan Lin, Angtian Wang, Chongyang Ma, Fan Tang

分类: cs.CV, cs.AI

发布日期: 2026-09-29

备注: Accepted as a Spotlight paper at NeurIPS 2026. Project page: https://yuci-gpt.github.io/SplitMoE/

💡 一句话要点

提出SplitMoE以解决视频生成模型中的均匀性陷阱问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频生成 Mixture-of-Experts 语义聚类 稀疏架构 深度学习

📋 核心要点

  1. 现有的视觉 MoE 方法在处理视频数据时，因均匀性正则化导致语义路由不当，造成信息碎片化。
  2. 本文提出的 SplitMoE 通过将专家池分为语义专家和通用专家，打破了均匀性限制，优化了路由机制。
  3. 实验结果显示，SplitMoE 在相同参数预算下，收敛速度和视频生成质量均显著优于传统 MoE 方法。

📝 摘要（中文）

Mixture-of-Experts (MoE) 是一种有前景的视觉生成模型扩展范式，但传统的 MoE 方法在处理视频数据时存在均匀性陷阱，导致路由碎片化和结构失真。为了解决这一问题，本文提出了 SplitMoE，一种分角色稀疏架构，通过将专家池分为语义专家和通用专家，利用原型引导路由和拉推正则化，使得令牌能够根据语义属性自然聚类。实验结果表明，SplitMoE 在收敛速度、路由一致性和视频生成质量上均优于传统的负载平衡 MoE，提供了一条面向大规模视频世界模型的可扩展路径。

🔬 方法详解

问题定义：本文旨在解决传统 MoE 方法在视频生成中的均匀性陷阱问题，导致的路由碎片化和结构失真。现有方法在处理具有时空冗余和语义长尾的视频数据时表现不佳。

核心思路：SplitMoE 通过将专家池分为语义专家和通用专家，分别捕捉高层语义抽象和保留残余视觉信息，从而实现更有效的路由。该设计旨在打破传统 MoE 的均匀性约束，使得令牌能够根据语义属性自然聚类。

技术框架：SplitMoE 的整体架构包括两个主要模块：语义专家和通用专家。语义专家负责处理高层次的语义信息，而通用专家则处理低层次的视觉信息。通过原型引导路由和拉推正则化，优化了令牌的分配和聚类过程。

关键创新：SplitMoE 的核心创新在于其分角色的稀疏架构设计，打破了传统 MoE 的均匀性限制，使得路由更加符合视频数据的语义特征。

关键设计：在参数设置上，SplitMoE 采用了原型引导路由机制，结合拉推正则化，确保了专家的有效利用和路由的一致性。网络结构上，语义专家和通用专家的设计使得模型能够灵活应对不同类型的视频数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在标准基准测试中，SplitMoE 在相同激活参数预算下，收敛速度提高了显著，路由一致性和视频生成质量均优于传统负载平衡 MoE，展示了其在视频生成领域的优越性。

🎯 应用场景

该研究的潜在应用领域包括视频生成、视频理解和多模态学习等。通过优化视频生成模型的结构，SplitMoE 可以提升视频内容创作的质量和效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Mixture-of-Experts (MoE), popularized by large language models, is a promising paradigm for scaling visual generative models. However, conventional token-wise MoE routes tokens independently within a homogeneous expert pool and regularizes expert usage toward uniformity, making it poorly matched to video data that is spatiotemporally redundant and semantically long-tailed. We show that existing visual MoEs fall into a uniformity trap: semantically under-organized routing, compounded by uniform expert-usage regularization, scatters coherent patches across disparate experts, causing routing fragmentation and structural distortion. To address this, we propose SplitMoE, a split-role sparse architecture that breaks the shackles of uniformity. To accommodate the inherent semantic imbalance, we explicitly bifurcate the expert pool into semantic experts and generic experts, with semantic experts capturing high-level semantic abstraction and generic experts preserving residual visual information and flexible generative capacity. Leveraging prototype-guided routing and pull-push regularization, SplitMoE enables tokens to cluster naturally by semantic attributes rather than arbitrary balancing constraints. Extensive results show that under an equivalent activated-parameter budget, SplitMoE outperforms traditional load-balanced MoEs in convergence speed, routing coherence, and video generation quality across standard benchmarks. By revealing an emergent coarse-to-fine denoising logic, SplitMoE provides the community with a modality-aware scaling path, serving as a critical reference for building large-scale video world models.