Learning Explicit Continuous Motion Representation for Dynamic Gaussian Splatting from Monocular Videos

📄 arXiv: 2603.25058v1 📥 PDF

作者: Xuankai Zhang, Junjin Xiao, Shangwei Huang, Wei-shi Zheng, Qing Zhang

分类: cs.CV

发布日期: 2026-03-26

备注: Accepted to CVPR 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于SE(3) B样条运动基的动态高斯溅射方法，用于单目视频高质量动态场景重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 动态高斯溅射 新视角合成 SE(3) B样条 运动建模 单目视频 自适应控制 多视角扩散

📋 核心要点

  1. 现有动态高斯溅射方法在建模复杂动态场景时，难以兼顾计算效率和运动表达能力。
  2. 利用SE(3) B样条运动基显式建模高斯粒子的连续运动，并通过自适应控制机制动态调整运动基数量。
  3. 通过软分割重建策略减轻长间隔运动干扰，并引入多视角扩散模型避免过拟合，提升新视角合成质量。

📝 摘要（中文）

本文提出了一种从单目视频中进行高质量动态高斯溅射的方法。与以往方法不同，本文显式地建模了动态高斯粒子的连续位置和方向形变，采用带有紧凑控制点集的SE(3) B样条运动基。为了提高计算效率并增强建模复杂运动的能力，设计了一种自适应控制机制，以动态调整运动基和控制点的数量。此外，我们还开发了一种软分割重建策略，以减轻长间隔运动干扰，并采用多视角扩散模型来提供多视角线索，以避免过度拟合训练视角。大量实验表明，我们的方法在新视角合成方面优于最先进的方法。

🔬 方法详解

问题定义：现有动态高斯溅射方法在处理复杂动态场景时，通常面临两个主要问题：一是计算效率问题，需要大量的计算资源来优化高斯粒子的运动；二是运动表达能力问题，难以准确捕捉复杂的非刚性运动。这些问题导致重建质量下降，尤其是在新视角合成时表现不佳。

核心思路：本文的核心思路是利用SE(3) B样条运动基来显式地建模动态高斯粒子的连续运动。SE(3)群能够同时表示旋转和平移，B样条则提供了一种平滑且可控的曲线表示方法。通过这种方式，可以用一组紧凑的控制点来描述高斯粒子的运动轨迹，从而降低计算复杂度并提高运动表达能力。

技术框架：该方法主要包含以下几个阶段：1) 初始化：使用静态高斯溅射方法初始化场景；2) 运动基学习：利用SE(3) B样条运动基显式建模高斯粒子的运动，并通过优化控制点来拟合运动轨迹；3) 自适应控制：根据运动的复杂程度动态调整运动基和控制点的数量，以提高计算效率；4) 软分割重建：将视频分割成多个片段，并在每个片段内进行重建，以减轻长间隔运动干扰；5) 多视角扩散：利用多视角扩散模型提供多视角线索，以避免过度拟合训练视角。

关键创新：该方法最重要的技术创新点在于显式地使用SE(3) B样条运动基来建模动态高斯粒子的运动。与以往方法相比，这种方法能够更有效地表示复杂的非刚性运动，并且具有更好的可控性和可解释性。此外，自适应控制机制和软分割重建策略也进一步提高了方法的性能。

关键设计：在SE(3) B样条运动基的设计中，控制点的数量和位置是关键参数。本文采用自适应控制机制来动态调整这些参数，具体来说，根据高斯粒子的运动速度和加速度来判断运动的复杂程度，并相应地增加或减少控制点的数量。此外，损失函数的设计也至关重要，本文采用了包括渲染损失、深度损失和正则化损失在内的多种损失函数，以保证重建质量和运动的平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个数据集上均优于当前最先进的方法。例如，在合成数据集上，该方法的新视角合成质量指标PSNR提高了2-3dB，LPIPS降低了0.02-0.03。在真实数据集上，该方法也取得了显著的性能提升，尤其是在处理复杂运动场景时表现更佳。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、机器人导航、自动驾驶等领域。通过高质量的动态场景重建，可以为用户提供更逼真的沉浸式体验，并为机器人提供更准确的环境感知能力。此外，该方法还可以用于视频编辑、特效制作等领域，具有广泛的应用前景。

📄 摘要（原文）

We present an approach for high-quality dynamic Gaussian Splatting from monocular videos. To this end, we in this work go one step further beyond previous methods to explicitly model continuous position and orientation deformation of dynamic Gaussians, using an SE(3) B-spline motion bases with a compact set of control points. To improve computational efficiency while enhancing the ability to model complex motions, an adaptive control mechanism is devised to dynamically adjust the number of motion bases and control points. Besides, we develop a soft segment reconstruction strategy to mitigate long-interval motion interference, and employ a multi-view diffusion model to provide multi-view cues for avoiding overfitting to training views. Extensive experiments demonstrate that our method outperforms state-of-the-art methods in novel view synthesis. Our code is available at https://github.com/hhhddddddd/se3bsplinegs.