MoBGS: Motion Deblurring Dynamic 3D Gaussian Splatting for Blurry Monocular Video

📄 arXiv: 2504.15122v4 📥 PDF

作者: Minh-Quan Viet Bui, Jongmin Park, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

分类: cs.CV

发布日期: 2025-04-21 (更新: 2025-12-03)

备注: This paper has been accepted to AAAI 2026. The first two authors contributed equally to this work (equal contribution). The last two authors are co-corresponding authors. Please visit our project page at https://kaist-viclab.github.io/mobgs-site/

💡 一句话要点

提出MoBGS，用于运动模糊单目视频的动态3D高斯溅射去模糊和新视角合成。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 运动去模糊 动态新视角合成 3D高斯溅射 神经ODE 相机轨迹估计

📋 核心要点

  1. 现有动态新视角合成方法易受运动模糊影响，导致渲染质量下降，且缺乏对动态物体运动的建模。
  2. MoBGS通过模糊自适应潜在相机估计（BLCE）和潜在相机诱导的曝光估计（LCEE）实现全局和局部运动的一致去模糊。
  3. 在Stereo Blur数据集和真实模糊视频上的实验表明，MoBGS在动态NVS任务中优于现有方法，达到SOTA性能。

📝 摘要（中文）

本文提出了一种新颖的运动去模糊3D高斯溅射（3DGS）框架MoBGS，它能够以端到端的方式从模糊的单目视频中重建清晰、高质量的新时空视角。现有的动态新视角合成（NVS）方法对随意拍摄的视频中的运动模糊高度敏感，导致渲染质量显著下降。虽然最近的方法解决了NVS的运动模糊输入问题，但它们主要关注静态场景重建，缺乏对动态物体的专用运动建模。为了克服这些限制，我们的MoBGS引入了一种新的模糊自适应潜在相机估计（BLCE）方法，该方法使用提出的模糊自适应神经常微分方程（ODE）求解器，以实现有效的潜在相机轨迹估计，从而改善全局相机运动去模糊。此外，我们提出了一种潜在相机诱导的曝光估计（LCEE）方法，以确保全局相机和局部物体运动的一致去模糊。在Stereo Blur数据集和真实模糊视频上的大量实验表明，我们的MoBGS显著优于最新的方法，在运动模糊下的动态NVS方面实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决运动模糊下单目视频的动态新视角合成问题。现有方法在处理运动模糊时，渲染质量会显著下降，并且缺乏对动态物体运动的有效建模，导致重建效果不佳。

核心思路：论文的核心思路是通过估计模糊的相机轨迹和曝光，从而实现运动去模糊。具体来说，通过Blur-adaptive Latent Camera Estimation (BLCE) 估计相机轨迹，并使用Latent Camera-induced Exposure Estimation (LCEE) 来保证全局相机和局部物体运动的一致去模糊。这样可以有效地处理运动模糊，并提高动态新视角合成的质量。

技术框架：MoBGS框架主要包含以下几个模块：1) Blur-adaptive Latent Camera Estimation (BLCE)：使用Blur-adaptive Neural Ordinary Differential Equation (ODE) solver来估计潜在的相机轨迹。2) Latent Camera-induced Exposure Estimation (LCEE)：估计每个像素的曝光，以实现一致的去模糊。3) 3D Gaussian Splatting (3DGS)：使用3D高斯溅射进行场景表示和渲染。整个框架以端到端的方式进行训练。

关键创新：论文的关键创新在于提出了Blur-adaptive Latent Camera Estimation (BLCE) 和 Latent Camera-induced Exposure Estimation (LCEE) 这两个模块。BLCE能够自适应地估计模糊的相机轨迹，而LCEE能够保证全局相机和局部物体运动的一致去模糊。与现有方法相比，MoBGS能够更有效地处理运动模糊，并提高动态新视角合成的质量。

关键设计：Blur-adaptive Neural ODE solver的设计是关键。它允许网络学习相机轨迹的动态变化，并自适应地处理不同程度的运动模糊。LCEE模块通过将潜在相机轨迹信息融入到曝光估计中，从而实现一致的去模糊。损失函数的设计也至关重要，它需要平衡重建质量和去模糊效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MoBGS在Stereo Blur数据集和真实模糊视频上进行了大量实验，结果表明，MoBGS显著优于最新的方法，在运动模糊下的动态NVS方面实现了最先进的性能。具体性能数据未知，但摘要强调了其显著优于现有方法。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、视频监控、电影特效等领域。通过对模糊视频进行去模糊和新视角合成，可以提高这些应用场景的性能和用户体验。例如，在自动驾驶中，可以利用该技术对运动模糊的视频进行处理，从而提高车辆对周围环境的感知能力。

📄 摘要（原文）

We present MoBGS, a novel motion deblurring 3D Gaussian Splatting (3DGS) framework capable of reconstructing sharp and high-quality novel spatio-temporal views from blurry monocular videos in an end-to-end manner. Existing dynamic novel view synthesis (NVS) methods are highly sensitive to motion blur in casually captured videos, resulting in significant degradation of rendering quality. While recent approaches address motion-blurred inputs for NVS, they primarily focus on static scene reconstruction and lack dedicated motion modeling for dynamic objects. To overcome these limitations, our MoBGS introduces a novel Blur-adaptive Latent Camera Estimation (BLCE) method using a proposed Blur-adaptive Neural Ordinary Differential Equation (ODE) solver for effective latent camera trajectory estimation, improving global camera motion deblurring. In addition, we propose a Latent Camera-induced Exposure Estimation (LCEE) method to ensure consistent deblurring of both a global camera and local object motions. Extensive experiments on the Stereo Blur dataset and real-world blurry videos show that our MoBGS significantly outperforms the very recent methods, achieving state-of-the-art performance for dynamic NVS under motion blur.