4DVGGT-D: 4D Visual Geometry Transformer with Improved Dynamic Depth Estimation
作者: Ying Zang, Xuanyi Liu, Yidong Han, Deyi Ji, Chaotao Ding, Yuanqi Hu, Qi Zhu, Xuanfu Li, Jin Ma, Lingyun Sun, Tianrun Chen, Lanyun Zhu
分类: cs.CV
发布日期: 2026-05-12
💡 一句话要点
提出4DVGGT-D，通过动态深度估计改进4D视觉几何Transformer，用于单目视频动态场景重建。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 4D场景重建 动态场景 单目视频 深度估计 动态解耦 视觉几何Transformer 贝叶斯推理
📋 核心要点
- 现有方法难以有效处理单目视频动态场景重建中相机运动与物体运动的耦合问题，导致性能下降。
- 提出一种无需训练的渐进解耦框架，通过姿态解耦、几何细化和置信度融合，分离动态与静态。
- 实验表明，该方法在标准4D重建基准上取得了显著提升，无需微调即可实现具有竞争力的性能。
📝 摘要（中文）
从单目视频重建动态4D场景是一项基础但具有挑战性的任务。虽然最近的3D基础模型提供了强大的几何先验，但它们在动态环境中性能显著下降。这种下降源于一个根本矛盾：相机自运动和物体运动在全球注意力机制中固有耦合。本文提出了一种新颖的、无需训练的渐进解耦框架，以有原则的、由粗到精的方式将动态与静态解耦。核心思想是通过首先稳定相机姿态，然后进行几何细化来解决这种矛盾。具体而言，该方法包括三个协同组件：（1）动态掩码引导的姿态解耦模块，将姿态估计与动态干扰隔离，产生稳定的无运动参考系；（2）拓扑子空间手术机制，正交分解深度流形，在将精细的、掩码感知的几何注入静态区域的同时，安全地保留动态对象；（3）信息论置信度感知融合策略，将深度集成公式化为异方差贝叶斯推理问题，通过逆方差加权自适应地融合多通道预测。在标准4D重建基准上的大量实验表明，该方法在主要点云指标上实现了持续且显著的改进。值得注意的是，该方法在不需要微调的情况下，在鲁棒的4D场景重建中表现出竞争性能，表明了数学上动态-静态解耦的潜力。
🔬 方法详解
问题定义：论文旨在解决从单目视频中重建动态4D场景的问题。现有方法，特别是基于3D基础模型的方法，在处理动态场景时性能显著下降。这是因为相机自运动和场景中物体的运动在全球注意力机制中相互耦合，导致难以准确估计场景几何结构。现有方法难以有效区分和处理这两种运动，从而影响了重建质量。
核心思路：论文的核心思路是通过解耦动态和静态信息来解决上述问题。具体来说，首先稳定相机姿态，消除相机运动的影响，然后对场景几何进行细化。这种由粗到精的解耦策略能够有效地分离动态物体和静态背景，从而提高重建精度。通过将动态信息从姿态估计中分离出来，可以获得更准确的相机运动估计，进而为后续的几何重建提供更可靠的基础。
技术框架：整体框架包含三个主要模块：（1）动态掩码引导的姿态解耦模块：利用动态掩码将姿态估计与动态干扰隔离，获得稳定的无运动参考系。（2）拓扑子空间手术机制：正交分解深度流形，在保留动态对象的同时，将精细的几何信息注入静态区域。（3）信息论置信度感知融合策略：将深度集成建模为异方差贝叶斯推理问题，通过逆方差加权融合多通道预测结果。这三个模块协同工作，实现动态场景的准确重建。
关键创新：论文的关键创新在于提出了一种无需训练的渐进解耦框架，该框架能够有效地分离动态和静态信息，从而提高动态场景重建的精度。与现有方法相比，该方法不需要额外的训练数据或微调，即可在动态场景中实现具有竞争力的性能。此外，拓扑子空间手术机制和信息论置信度感知融合策略也是重要的技术创新，它们分别用于几何细化和深度集成，进一步提高了重建质量。
关键设计：动态掩码引导的姿态解耦模块利用动态掩码来抑制动态物体对姿态估计的影响。拓扑子空间手术机制通过正交分解深度流形，实现动态物体和静态背景的有效分离。信息论置信度感知融合策略将深度集成建模为异方差贝叶斯推理问题，并使用逆方差加权来融合多通道预测结果。这些设计细节共同保证了框架的有效性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在标准4D重建基准上取得了显著的性能提升。具体而言，该方法在主要点云指标上实现了持续且显著的改进，并且在不需要微调的情况下，在鲁棒的4D场景重建中表现出竞争性能。这些结果表明，该方法具有很强的实用价值和应用前景。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、增强现实等领域。在机器人导航中，准确的动态场景重建可以帮助机器人更好地理解周围环境，从而做出更明智的决策。在自动驾驶中，该技术可以提高车辆对动态障碍物的感知能力，从而提高安全性。在增强现实中，该技术可以实现更逼真的虚拟物体与真实场景的交互。
📄 摘要（原文）
Reconstructing dynamic 4D scenes from monocular videos is a fundamental yet challenging task. While recent 3D foundation models provide strong geometric priors, their performance significantly degrades in dynamic environments. This degradation stems from a fundamental tension: the inherent coupling of camera ego-motion and object motion within global attention mechanisms. In this paper, we propose a novel, training-free progressive decoupling framework that disentangles dynamics from statics in a principled, coarse-to-fine manner. Our core insight is to resolve the tension by first stabilizing the camera pose, followed by geometric refinement. Specifically, our approach consists of three synergistic components: (1) a Dynamic-Mask-Guided Pose Decoupling module that isolates pose estimation from dynamic interference, yielding a stable motion-free reference frame; (2) a Topological Subspace Surgery mechanism that orthogonally decomposes the depth manifold, safely preserving dynamic objects while injecting refined, mask-aware geometry into static regions; and (3) an Information-Theoretic Confidence-Aware Fusion strategy that formulates depth integration as a heteroscedastic Bayesian inference problem, adaptively blending multi-pass predictions via inverse-variance weighting. Extensive experiments on standard 4D reconstruction benchmarks demonstrate that our method achieves consistent and substantial improvements across principal point-cloud metrics. Notably, our approach shows competitive performance in robust 4D scene reconstruction without requiring fine-tuning, suggesting the potential of mathematically grounded dynamic-static disentanglement.