CoMoGaussian: Continuous Motion-Aware Gaussian Splatting from Motion-Blurred Images

📄 arXiv: 2503.05332v2 📥 PDF

作者: Jungho Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Minhyeok Lee, Wonjoon Lee, Taeoh Kim, Dongyoon Wee, Sangyoun Lee

分类: cs.CV

发布日期: 2025-03-07 (更新: 2025-07-14)

备注: Revised Version of CRiM-GS, Project Page: https://Jho-Yonsei.github.io/CoMoGaussian

期刊: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025, pp. 26415-26424

💡 一句话要点

CoMoGaussian：提出连续运动感知的高斯溅射，解决运动模糊图像的三维重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 运动模糊 神经常微分方程 相机轨迹估计 三维重建

📋 核心要点

  1. 相机运动模糊是真实场景三维重建的关键挑战，现有方法难以准确建模复杂运动轨迹。
  2. CoMoGaussian利用神经常微分方程预测连续相机轨迹，并引入连续运动细化变换来逼近运动模糊的连续性。
  3. 实验结果表明，该方法在包含各种运动模糊场景的数据集上，实现了最先进的重建性能。

📝 摘要（中文）

本文提出了一种连续运动感知的高斯溅射方法（CoMoGaussian），旨在从运动模糊的图像中重建精确的3D场景，同时保持实时渲染速度。考虑到真实世界相机运动中固有的复杂运动模式，我们使用神经常微分方程（ODEs）预测连续的相机轨迹。为了确保精确建模，我们采用刚体变换，保持物体的形状和大小，但依赖于采样帧的离散积分。为了更好地逼近运动模糊的连续性，我们引入了一种连续运动细化（CMR）变换，通过结合额外的可学习参数来细化刚性变换。通过重新审视基本的相机理论并利用先进的神经ODE技术，我们实现了对连续相机轨迹的精确建模，从而提高了重建精度。大量实验表明，在基准数据集上，无论是在定量还是定性方面，我们的方法都达到了最先进的性能，这些数据集包括从适度到极端模糊的各种运动模糊场景。

🔬 方法详解

问题定义：论文旨在解决由相机运动引起的运动模糊对3D高斯溅射（3DGS）重建质量的影响。现有的3DGS方法在处理运动模糊图像时，由于无法准确估计相机位姿，导致重建的3D场景出现伪影和模糊，严重影响了渲染质量。

核心思路：论文的核心思路是利用神经常微分方程（Neural ODEs）来建模连续的相机运动轨迹，并引入连续运动细化（CMR）变换来进一步优化运动估计。通过连续的运动轨迹建模，可以更准确地描述运动模糊的形成过程，从而提高3D场景的重建质量。

技术框架：CoMoGaussian的整体框架包括以下几个主要模块：1) 使用神经ODE预测连续相机轨迹；2) 利用刚体变换保持物体形状和大小；3) 引入连续运动细化（CMR）变换来优化运动估计；4) 基于优化的相机轨迹进行3D高斯溅射渲染。该框架首先从运动模糊图像中估计初始相机位姿，然后使用神经ODE学习连续的相机运动轨迹。接着，通过CMR变换对运动轨迹进行细化，最后利用优化的相机轨迹进行3D高斯溅射渲染，生成高质量的新视角图像。

关键创新：该论文的关键创新在于：1) 使用神经ODE建模连续相机运动轨迹，克服了传统方法中离散位姿估计的局限性；2) 引入连续运动细化（CMR）变换，进一步优化了运动估计，提高了重建精度。CMR变换通过引入可学习参数，能够更好地逼近真实相机运动的复杂性。

关键设计：在神经ODE的实现中，论文采用了刚体变换来约束相机运动，保证了重建场景的几何一致性。CMR变换通过学习额外的参数来细化刚体变换，从而更好地拟合真实的运动模糊。损失函数的设计包括渲染损失和正则化损失，其中渲染损失用于约束重建图像的质量，正则化损失用于约束相机运动的平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoMoGaussian在多个基准数据集上取得了state-of-the-art的性能，尤其是在包含严重运动模糊的场景中，重建质量显著优于现有方法。定量结果显示，CoMoGaussian在PSNR、SSIM和LPIPS等指标上均取得了显著提升，例如在某些数据集上，PSNR提升超过2dB。

🎯 应用场景

CoMoGaussian在机器人导航、自动驾驶、虚拟现实和增强现实等领域具有广泛的应用前景。它可以用于从运动模糊的视频中重建高质量的3D场景，从而提高机器人对环境的感知能力，增强自动驾驶系统的安全性，并为用户提供更逼真的虚拟现实和增强现实体验。该研究还有助于提升在动态环境中进行三维重建的精度和鲁棒性。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has gained significant attention due to its high-quality novel view rendering, motivating research to address real-world challenges. A critical issue is the camera motion blur caused by movement during exposure, which hinders accurate 3D scene reconstruction. In this study, we propose CoMoGaussian, a Continuous Motion-Aware Gaussian Splatting that reconstructs precise 3D scenes from motion-blurred images while maintaining real-time rendering speed. Considering the complex motion patterns inherent in real-world camera movements, we predict continuous camera trajectories using neural ordinary differential equations (ODEs). To ensure accurate modeling, we employ rigid body transformations, preserving the shape and size of the object but rely on the discrete integration of sampled frames. To better approximate the continuous nature of motion blur, we introduce a continuous motion refinement (CMR) transformation that refines rigid transformations by incorporating additional learnable parameters. By revisiting fundamental camera theory and leveraging advanced neural ODE techniques, we achieve precise modeling of continuous camera trajectories, leading to improved reconstruction accuracy. Extensive experiments demonstrate state-of-the-art performance both quantitatively and qualitatively on benchmark datasets, which include a wide range of motion blur scenarios, from moderate to extreme blur.