On the Design of Mixture-of-Experts for Dynamic Gaussian Splatting

📄 arXiv: 2607.08250v1 📥 PDF

作者: In-Hwan Jin, Hyeongju Mun, Joonsoo Kim, Kugjin Yun, Kyeongbo Kong

分类: cs.CV

发布日期: 2026-07-09

备注: Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence

🔗 代码/项目: GITHUB

💡 一句话要点

提出混合专家模型以解决动态高斯点云重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 高斯点云 混合专家模型 多变形建模 计算机视觉

📋 核心要点

  1. 现有的动态场景重建方法通常依赖单一变形模型，导致在多样动态场景中的表现不够鲁棒。
  2. 本文提出了变形专家的混合模型（MoDE）和动态高斯点云的专家混合模型（MoE-GS），实现了多变形建模的有效整合。
  3. 通过这两种方法，实验结果显示在动态场景重建中具有更好的性能和适应性，提升了模型的鲁棒性。

📝 摘要（中文）

动态场景重建因真实世界运动的异质性和空间变化性而面临挑战。尽管近期的3D高斯点云方法引入了多样的变形公式，但每种方法通常依赖于单一的变形模型，限制了在多样动态场景中的鲁棒性。本文研究了动态3D高斯表示的多变形建模问题，提出了变形专家的混合模型（MoDE）和动态高斯点云的专家混合模型（MoE-GS），分别在不同的集成约束下优化多个变形专家。这两种方法为多变形建模提供了替代策略，阐明了集成约束如何影响动态3D高斯表示中变形专家的设计和行为。

🔬 方法详解

问题定义：本文旨在解决动态3D高斯表示中的多变形建模问题，现有方法因依赖单一变形模型而在多样动态场景中表现不足。

核心思路：论文通过混合专家的视角，将多变形建模视为在统一3D表示中结合多个专门化变形模型的问题，提出了两种不同的集成约束下的优化策略。

技术框架：整体架构包括两个主要模块：变形专家的混合模型（MoDE）和动态高斯点云的专家混合模型（MoE-GS）。MoDE通过联合优化直接集成多个变形专家，而MoE-GS则在独立优化后通过路由阶段组合专家。

关键创新：最重要的技术创新在于提出了两种不同的集成约束，分别允许专家在共享的标准高斯表示上操作或在非标准高斯表示上独立优化，从而提供了多变形建模的灵活性。

关键设计：在MoDE中，专家在共享的标准高斯表示上进行优化，无需额外的训练阶段；而在MoE-GS中，专家的优化是独立的，结合通过路由阶段进行，确保了灵活性与效率。具体的损失函数和网络结构设计在论文中详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoDE和MoE-GS在动态场景重建任务中相较于传统方法有显著提升，尤其在复杂场景下的表现更为出色，具体性能数据在论文中提供。

🎯 应用场景

该研究在动态场景重建、虚拟现实、增强现实等领域具有广泛的应用潜力。通过提高动态场景的重建质量，能够为用户提供更真实的体验，推动相关技术的发展和应用。

📄 摘要（原文）

Dynamic scene reconstruction remains challenging due to the heterogeneous and spatially varying nature of real-world motion. Although recent 3D Gaussian Splatting methods have introduced diverse deformation formulations for dynamic novel view synthesis, each method typically relies on a single deformation model within its representation, which limits robustness across diverse dynamic scenarios. In this work, we study a fundamental problem-multi-deformation modeling for dynamic 3D Gaussian representations-under two distinct integration constraints that differ in when and how multiple deformation experts interact during training. From a Mixture-of-Experts (MoE) perspective, we view multi-deformation modeling as the problem of combining multiple specialized deformation models within a unified 3D representation. We first introduce Mixture of Deformation Experts (MoDE), which integrates multiple deformation experts directly into the deformable Gaussian Splatting pipeline through joint optimization. In MoDE, experts operate on a shared canonical Gaussian representation, enabling multi-deformation modeling without introducing additional training stages or modifying the original optimization schedule. In contrast, we further present Mixture of Experts for Dynamic Gaussian Splatting (MoE-GS) under a different integration constraint, where deformation experts are optimized independently and combined through a separate routing stage. As a result, expert interaction occurs over non-canonical Gaussian representations after individual optimization. Together, these two approaches provide alternative strategies for multi-deformation modeling, clarifying how integration constraints shape the design and behavior of deformation experts in dynamic 3D Gaussian representations. Our code is available at: https://github.com/cvsp-lab/MoE-GS-studio.