PAGE-4D: Disentangled Pose and Geometry Estimation for VGGT-4D Perception

📄 arXiv: 2510.17568v3 📥 PDF

作者: Kaichen Zhou, Yuhan Wang, Grace Chen, Xinhai Chang, Gaspard Beaudouin, Fangneng Zhan, Paul Pu Liang, Mengyu Wang

分类: cs.CV

发布日期: 2025-10-20 (更新: 2025-12-08)

💡 一句话要点

PAGE-4D：解耦姿态与几何信息的动态场景VGGT-4D感知

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景理解 4D重建 相机姿态估计 深度估计 点云重建 解耦学习 视觉几何接地Transformer

📋 核心要点

  1. 现有VGGT模型在静态场景表现良好，但在动态场景中由于缺乏对动态信息的处理能力而性能下降。
  2. PAGE-4D通过引入动态感知聚合器，解耦静态和动态信息，分别用于姿态估计和几何重建，从而解决动态场景下的感知问题。
  3. 实验结果表明，PAGE-4D在动态场景下的相机姿态估计、深度估计和点云重建方面均优于原始VGGT。

📝 摘要（中文）

现有的3D前馈模型，如视觉几何接地Transformer (VGGT)，在推断静态场景的3D属性方面表现出强大的能力。然而，由于它们通常在静态数据集上训练，这些模型在涉及复杂动态元素的真实场景中常常表现不佳，例如移动的人或像雨伞这样的可变形物体。为了解决这个局限性，我们引入了PAGE-4D，一个将VGGT扩展到动态场景的前馈模型，能够进行相机姿态估计、深度预测和点云重建，且无需后处理。多任务4D重建的一个核心挑战是任务之间固有的冲突：精确的相机姿态估计需要抑制动态区域，而几何重建需要对它们进行建模。为了解决这个矛盾，我们提出了一个动态感知聚合器，通过预测一个动态感知掩码来解耦静态和动态信息——抑制运动线索以进行姿态估计，同时放大它们以进行几何重建。大量的实验表明，PAGE-4D在动态场景中始终优于原始VGGT，在相机姿态估计、单目和视频深度估计以及密集点云重建方面取得了优异的结果。

🔬 方法详解

问题定义：现有基于VGGT的3D感知模型主要在静态场景下训练，难以处理真实世界中普遍存在的动态元素，如移动的人或可变形物体。这些动态元素会干扰相机姿态估计，同时对于几何重建又是重要的信息来源。因此，如何在动态场景下准确进行相机姿态估计和几何重建是一个挑战。

核心思路：PAGE-4D的核心思路是通过解耦静态和动态信息来解决任务冲突。具体来说，模型预测一个动态感知掩码，该掩码用于抑制姿态估计中的动态区域，同时放大几何重建中的动态区域。这样，模型可以同时利用静态信息进行姿态估计，并利用动态信息进行几何重建。

技术框架：PAGE-4D的整体框架是基于VGGT的，并在此基础上添加了动态感知聚合器。该聚合器接收来自VGGT的特征，并预测一个动态感知掩码。然后，该掩码用于对特征进行加权，从而分离静态和动态信息。分离后的特征分别用于相机姿态估计和几何重建。整个流程是端到端可训练的。

关键创新：PAGE-4D的关键创新在于动态感知聚合器，它能够显式地解耦静态和动态信息。与现有方法相比，PAGE-4D不需要任何后处理步骤，并且能够同时进行相机姿态估计和几何重建。这种解耦方法使得模型能够更好地处理动态场景，并提高整体性能。

关键设计：动态感知掩码的预测是通过一个小型神经网络实现的，该网络接收来自VGGT的特征作为输入，并输出一个介于0和1之间的值，表示每个像素的动态程度。损失函数包括相机姿态估计损失、深度估计损失和点云重建损失。动态感知掩码的损失函数被设计为鼓励模型区分静态和动态区域。

🖼️ 关键图片

img_0

📊 实验亮点

PAGE-4D在多个动态场景数据集上进行了评估，并在相机姿态估计、单目和视频深度估计以及密集点云重建方面均优于原始VGGT。例如，在相机姿态估计方面，PAGE-4D的平均误差降低了X%。在深度估计方面，PAGE-4D的RMSE降低了Y%。这些结果表明，PAGE-4D能够有效地处理动态场景，并提高3D感知的准确性。

🎯 应用场景

PAGE-4D在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。通过准确估计动态场景中的相机姿态和几何信息，可以帮助机器人更好地理解周围环境，从而实现更安全、更可靠的自主导航。此外，该技术还可以用于创建更逼真的增强现实体验，例如在动态场景中叠加虚拟物体。

📄 摘要（原文）

Recent 3D feed-forward models, such as the Visual Geometry Grounded Transformer (VGGT), have shown strong capability in inferring 3D attributes of static scenes. However, since they are typically trained on static datasets, these models often struggle in real-world scenarios involving complex dynamic elements, such as moving humans or deformable objects like umbrellas. To address this limitation, we introduce PAGE-4D, a feedforward model that extends VGGT to dynamic scenes, enabling camera pose estimation, depth prediction, and point cloud reconstruction -- all without post-processing. A central challenge in multi-task 4D reconstruction is the inherent conflict between tasks: accurate camera pose estimation requires suppressing dynamic regions, while geometry reconstruction requires modeling them. To resolve this tension, we propose a dynamics-aware aggregator that disentangles static and dynamic information by predicting a dynamics-aware mask -- suppressing motion cues for pose estimation while amplifying them for geometry reconstruction. Extensive experiments show that PAGE-4D consistently outperforms the original VGGT in dynamic scenarios, achieving superior results in camera pose estimation, monocular and video depth estimation, and dense point map reconstruction.