V-DPM: 4D Video Reconstruction with Dynamic Point Maps

📄 arXiv: 2601.09499v1 📥 PDF

作者: Edgar Sucar, Eldar Insafutdinov, Zihang Lai, Andrea Vedaldi

分类: cs.CV

发布日期: 2026-01-14

备注: Project page: https://www.robots.ox.ac.uk/~vgg/research/vdpm/

💡 一句话要点

V-DPM：利用动态点图实现4D视频重建，无需后处理优化。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 4D视频重建 动态点图 神经渲染 视频理解

📋 核心要点

  1. 现有动态点图方法局限于图像对，且多视图重建需要耗时的后处理优化，限制了其在视频中的应用。
  2. V-DPM通过设计适用于视频输入的动态点图，最大化表示能力，并支持利用预训练模型进行神经预测。
  3. 通过少量合成数据微调VGGT，使其成为有效的V-DPM预测器，在动态场景的3D/4D重建上达到SOTA，并能恢复完整3D运动。

📝 摘要（中文）

强大的3D表示方法，如DUSt3R不变点图，通过编码3D形状和相机参数，显著提升了前馈3D重建的性能。虽然点图假设场景是静态的，但动态点图（DPMs）通过额外表示场景运动，将这一概念扩展到动态3D内容。然而，现有的DPMs仅限于图像对，并且像DUSt3R一样，当涉及两个以上的视图时，需要通过优化进行后处理。我们认为DPMs在应用于视频时更有用，并引入V-DPM来证明这一点。首先，我们展示了如何为视频输入制定DPMs，从而最大限度地提高表示能力，促进神经预测，并实现预训练模型的重用。其次，我们在VGGT（一种最近且强大的3D重建器）之上实现了这些想法。虽然VGGT是在静态场景上训练的，但我们表明，少量的合成数据足以将其改编为有效的V-DPM预测器。我们的方法在动态场景的3D和4D重建中实现了最先进的性能。特别是，与最近的VGGT动态扩展（如P3）不同，DPMs不仅恢复动态深度，还恢复场景中每个点的完整3D运动。

🔬 方法详解

问题定义：论文旨在解决动态场景下的4D视频重建问题。现有方法，如基于图像对的动态点图，无法有效处理视频序列，且多视图重建需要复杂的后处理优化。此外，一些方法只能恢复动态深度，而无法捕捉场景中每个点的完整3D运动信息。

核心思路：论文的核心思路是扩展动态点图（DPM）的概念，使其能够直接应用于视频输入，从而避免了对图像对的限制和后处理的需求。通过优化DPM的表示方式，使其更适合神经预测，并能够重用预训练的静态场景3D重建模型，从而提高动态场景重建的效率和准确性。

技术框架：V-DPM的技术框架主要包括以下几个阶段：1) 设计适用于视频输入的动态点图表示；2) 利用预训练的静态场景3D重建模型（如VGGT）作为基础；3) 使用少量合成数据对预训练模型进行微调，使其适应动态场景；4) 利用训练好的V-DPM预测器进行4D视频重建，输出动态深度和每个点的3D运动信息。

关键创新：论文的关键创新在于：1) 提出了适用于视频输入的动态点图表示，能够有效捕捉场景的动态信息；2) 通过微调预训练的静态场景模型，实现了动态场景的快速适应，避免了从头开始训练的需要；3) 能够恢复场景中每个点的完整3D运动信息，而不仅仅是动态深度。

关键设计：论文的关键设计包括：1) 动态点图的表示方式，需要能够有效地编码场景的动态信息，并支持神经预测；2) 微调策略，需要选择合适的合成数据和损失函数，以保证模型能够有效地适应动态场景；3) 网络结构的设计，需要能够充分利用预训练模型的知识，并能够有效地提取和处理视频序列中的时序信息。具体的参数设置、损失函数和网络结构等细节在论文中未明确给出，属于未知信息。

📊 实验亮点

V-DPM在动态场景的3D和4D重建中实现了最先进的性能。与现有的VGGT动态扩展方法（如P3）相比，V-DPM不仅能够恢复动态深度，还能够恢复场景中每个点的完整3D运动信息。具体性能数据和对比基线在摘要中未给出，属于未知信息。

🎯 应用场景

V-DPM在动态场景理解、动作捕捉、虚拟现实/增强现实、自动驾驶等领域具有广泛的应用前景。例如，可以用于重建人体运动、车辆行驶等动态场景，为相关应用提供准确的3D几何和运动信息。该研究的突破将推动相关领域的发展，并为未来的研究提供新的思路。

📄 摘要（原文）

Powerful 3D representations such as DUSt3R invariant point maps, which encode 3D shape and camera parameters, have significantly advanced feed forward 3D reconstruction. While point maps assume static scenes, Dynamic Point Maps (DPMs) extend this concept to dynamic 3D content by additionally representing scene motion. However, existing DPMs are limited to image pairs and, like DUSt3R, require post processing via optimization when more than two views are involved. We argue that DPMs are more useful when applied to videos and introduce V-DPM to demonstrate this. First, we show how to formulate DPMs for video input in a way that maximizes representational power, facilitates neural prediction, and enables reuse of pretrained models. Second, we implement these ideas on top of VGGT, a recent and powerful 3D reconstructor. Although VGGT was trained on static scenes, we show that a modest amount of synthetic data is sufficient to adapt it into an effective V-DPM predictor. Our approach achieves state of the art performance in 3D and 4D reconstruction for dynamic scenes. In particular, unlike recent dynamic extensions of VGGT such as P3, DPMs recover not only dynamic depth but also the full 3D motion of every point in the scene.