MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting

📄 arXiv: 2510.19210v1 📥 PDF

作者: In-Hwan Jin, Hyeongju Mun, Joonsoo Kim, Kugjin Yun, Kyeongbo Kong

分类: cs.CV

发布日期: 2025-10-22

💡 一句话要点

提出MoE-GS，利用专家混合模型提升动态高斯溅射的渲染质量与效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 高斯溅射 专家混合模型 体感知路由 知识蒸馏

📋 核心要点

  1. 现有动态场景重建方法在高斯溅射基础上发展迅速，但对不同场景适应性差，缺乏通用性。
  2. MoE-GS通过体感知像素路由自适应融合多个专家输出，实现空间和时间一致的动态场景重建。
  3. 实验表明，MoE-GS在渲染质量和效率上均优于现有方法，并在N3V和Technicolor数据集上验证。

📝 摘要（中文）

本文提出了一种用于动态高斯溅射的专家混合模型（MoE-GS），旨在解决现有方法在不同动态场景中表现不一致的问题。MoE-GS通过新颖的体感知像素路由（Volume-aware Pixel Router）集成多个专业专家，该路由通过可微权重溅射将体素高斯级别的权重投影到像素空间，从而自适应地融合专家输出，确保空间和时间上的一致性。虽然MoE-GS提高了渲染质量，但MoE架构固有的模型容量增加和FPS降低问题依然存在。为此，本文探索了两种互补的策略：(1) 单次多专家渲染和门控感知高斯剪枝，以提高MoE框架内的效率；(2) 知识蒸馏策略，将MoE的性能迁移到单个专家，从而实现轻量级部署，无需架构更改。据我们所知，MoE-GS是第一个将专家混合技术融入动态高斯溅射的方法。在N3V和Technicolor数据集上的大量实验表明，MoE-GS始终优于最先进的方法，并提高了效率。

🔬 方法详解

问题定义：现有动态场景重建方法，虽然基于3D高斯溅射取得了显著进展，但在处理各种动态场景时表现不一致。没有单一方法能够有效地应对所有动态挑战，导致重建质量和泛化能力受限。因此，需要一种更具适应性和鲁棒性的方法来处理不同的动态场景。

核心思路：MoE-GS的核心思路是利用专家混合模型（Mixture of Experts）的思想，将多个专门的专家模型集成到一个统一的框架中。每个专家模型负责处理特定类型的动态场景或动态特征，通过一个路由机制，自适应地选择或组合不同专家的输出，从而提高整体的重建质量和泛化能力。这种方法能够充分利用不同专家的优势，克服单一模型在处理复杂动态场景时的局限性。

技术框架：MoE-GS的整体架构包括以下几个主要模块：1) 多个专家模型，每个专家模型都是一个基于高斯溅射的动态场景重建模型；2) 一个体感知像素路由（Volume-aware Pixel Router），负责根据输入场景的特征，为每个像素选择合适的专家组合；3) 一个可微权重溅射模块，将体素高斯级别的权重投影到像素空间，用于融合不同专家的输出。整个框架通过端到端的方式进行训练，以优化专家模型的参数和路由策略。

关键创新：MoE-GS最重要的技术创新点在于体感知像素路由（Volume-aware Pixel Router）的设计。该路由机制能够根据输入场景的体素信息，自适应地为每个像素选择合适的专家组合。与传统的像素级路由方法相比，体感知像素路由能够更好地利用场景的几何信息，从而提高路由的准确性和效率。此外，MoE-GS是第一个将专家混合技术应用于动态高斯溅射的方法，为动态场景重建领域提供了一种新的思路。

关键设计：体感知像素路由的关键设计在于如何将体素信息有效地传递到像素空间。MoE-GS采用可微权重溅射的方法，将体素高斯级别的权重投影到像素空间，用于计算每个像素的专家权重。此外，MoE-GS还采用了门控感知高斯剪枝策略，以减少模型容量和提高渲染效率。在损失函数方面，MoE-GS采用了标准的渲染损失函数，以及一个正则化损失函数，用于约束专家模型的参数。

🖼️ 关键图片

img_0

📊 实验亮点

MoE-GS在N3V和Technicolor数据集上进行了大量实验，结果表明，MoE-GS在渲染质量和效率上均优于现有方法。具体来说，MoE-GS在PSNR、SSIM和LPIPS等指标上均取得了显著提升，同时FPS也得到了有效提高。此外，MoE-GS的知识蒸馏策略能够将MoE的性能迁移到单个专家，从而实现轻量级部署，无需架构更改。

🎯 应用场景

MoE-GS在动态场景重建领域具有广泛的应用前景，例如虚拟现实、增强现实、自动驾驶、机器人导航等。该方法能够提高动态场景的重建质量和效率，为用户提供更逼真、更流畅的交互体验。此外，MoE-GS还可以应用于动态场景的编辑和合成，例如视频特效、游戏开发等。

📄 摘要（原文）

Recent advances in dynamic scene reconstruction have significantly benefited from 3D Gaussian Splatting, yet existing methods show inconsistent performance across diverse scenes, indicating no single approach effectively handles all dynamic challenges. To overcome these limitations, we propose Mixture of Experts for Dynamic Gaussian Splatting (MoE-GS), a unified framework integrating multiple specialized experts via a novel Volume-aware Pixel Router. Our router adaptively blends expert outputs by projecting volumetric Gaussian-level weights into pixel space through differentiable weight splatting, ensuring spatially and temporally coherent results. Although MoE-GS improves rendering quality, the increased model capacity and reduced FPS are inherent to the MoE architecture. To mitigate this, we explore two complementary directions: (1) single-pass multi-expert rendering and gate-aware Gaussian pruning, which improve efficiency within the MoE framework, and (2) a distillation strategy that transfers MoE performance to individual experts, enabling lightweight deployment without architectural changes. To the best of our knowledge, MoE-GS is the first approach incorporating Mixture-of-Experts techniques into dynamic Gaussian splatting. Extensive experiments on the N3V and Technicolor datasets demonstrate that MoE-GS consistently outperforms state-of-the-art methods with improved efficiency. Video demonstrations are available at https://anonymous.4open.science/w/MoE-GS-68BA/.