Shape of Motion: 4D Reconstruction from a Single Video
作者: Qianqian Wang, Vickie Ye, Hang Gao, Weijia Zeng, Jake Austin, Zhengqi Li, Angjoo Kanazawa
分类: cs.CV
发布日期: 2024-07-18 (更新: 2025-10-16)
备注: ICCV 2025
💡 一句话要点
提出基于运动形状的单视频4D重建方法，显式建模场景运动轨迹。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单目视频 动态场景重建 4D重建 运动估计 新视角合成
📋 核心要点
- 单目动态场景重建极具挑战，现有方法或依赖模板，或仅适用于准静态场景，缺乏对3D运动的显式建模。
- 该方法利用SE(3)运动基表示场景运动的低维结构，将场景分解为多个刚性运动组，并整合单目深度图和2D轨迹等先验信息。
- 实验结果表明，该方法在长程3D/2D运动估计和新视角合成方面均取得了当前最优的性能。
📝 摘要（中文）
单目动态重建是一个具有挑战性的长期视觉问题，本质上具有高度的不适定性。现有方法依赖于模板，仅在准静态场景中有效，或者无法显式地建模3D运动。本文提出了一种从随意拍摄的单目视频中重建通用动态场景的方法，该方法在世界坐标系中具有显式的、持久的3D运动轨迹。我们通过两个关键见解来解决这个问题：首先，我们通过用一组紧凑的SE(3)运动基表示场景运动，从而利用了3D运动的低维结构。每个点的运动都表示为这些基的线性组合，从而有助于将场景软分解为多个刚性运动组。其次，我们利用现成的、数据驱动的先验知识，例如单目深度图和长程2D轨迹，并设计了一种有效整合这些噪声监督信号的方法，从而产生动态场景的全局一致表示。实验表明，我们的方法在动态场景上的长程3D/2D运动估计和新视角合成方面都达到了最先进的性能。
🔬 方法详解
问题定义：论文旨在解决从单目视频中重建动态场景的4D模型问题，即在三维空间中随时间变化的场景结构。现有方法的痛点在于难以处理复杂的非刚性运动，或者需要预定义的模板，泛化能力有限。此外，如何有效地利用单目视频中固有的不确定性信息也是一个挑战。
核心思路：论文的核心思路是利用场景运动的低维结构，将其表示为一组紧凑的SE(3)运动基的线性组合。这种表示方式能够显式地建模场景中各个部分的运动轨迹，并允许将场景软分解为多个刚性运动的组。同时，论文还利用了现成的单目深度估计和2D跟踪结果作为先验信息，并通过优化方法将这些噪声数据整合到统一的动态场景表示中。
技术框架：该方法主要包含以下几个阶段：1) 使用现成的单目深度估计器和2D跟踪器提取初始的深度图和2D轨迹。2) 利用SE(3)运动基表示场景运动，并通过优化方法估计每个点的运动基系数。3) 将场景软分解为多个刚性运动组，并对每个组的运动进行优化。4) 将深度图、2D轨迹和运动信息整合到统一的动态场景表示中。
关键创新：最重要的技术创新点在于使用SE(3)运动基来表示场景运动。这种表示方式能够显式地建模场景中各个部分的运动轨迹，并允许将场景软分解为多个刚性运动的组。与现有方法相比，该方法不需要预定义的模板，能够处理更复杂的非刚性运动。
关键设计：论文使用了一组紧凑的SE(3)运动基来表示场景运动，基的数量是一个超参数，需要根据场景的复杂度进行调整。论文还设计了一个损失函数，用于整合深度图、2D轨迹和运动信息。该损失函数包括深度一致性损失、轨迹一致性损失和运动平滑性损失。
🖼️ 关键图片
📊 实验亮点
该方法在动态场景的3D/2D运动估计和新视角合成方面取得了state-of-the-art的性能。具体来说，该方法在多个公开数据集上进行了评估，并与现有的方法进行了比较，结果表明该方法在运动估计的准确性和新视角合成的质量方面均优于现有方法。项目主页提供了详细的实验结果和可视化效果。
🎯 应用场景
该研究成果可应用于增强现实、虚拟现实、机器人导航、自动驾驶等领域。例如，在增强现实中，可以利用该方法从单目视频中重建动态场景，并将虚拟物体与真实场景进行交互。在机器人导航中，可以利用该方法估计场景中物体的运动轨迹，从而帮助机器人避开障碍物。
📄 摘要（原文）
Monocular dynamic reconstruction is a challenging and long-standing vision problem due to the highly ill-posed nature of the task. Existing approaches depend on templates, are effective only in quasi-static scenes, or fail to model 3D motion explicitly. We introduce a method for reconstructing generic dynamic scenes, featuring explicit, persistent 3D motion trajectories in the world coordinate frame, from casually captured monocular videos. We tackle the problem with two key insights: First, we exploit the low-dimensional structure of 3D motion by representing scene motion with a compact set of SE(3) motion bases. Each point's motion is expressed as a linear combination of these bases, facilitating soft decomposition of the scene into multiple rigidly-moving groups. Second, we take advantage of off-the-shelf data-driven priors such as monocular depth maps and long-range 2D tracks, and devise a method to effectively consolidate these noisy supervisory signals, resulting in a globally consistent representation of the dynamic scene. Experiments show that our method achieves state-of-the-art performance for both long-range 3D/2D motion estimation and novel view synthesis on dynamic scenes. Project Page: https://shape-of-motion.github.io/