PAD3R: Pose-Aware Dynamic 3D Reconstruction from Casual Videos

📄 arXiv: 2509.25183v1 📥 PDF

作者: Ting-Hsuan Liao, Haowen Liu, Yiran Xu, Songwei Ge, Gengshan Yang, Jia-Bin Huang

分类: cs.CV

发布日期: 2025-09-29

备注: SIGGRAPH Asia 2025. Project page:https://pad3r.github.io/

💡 一句话要点

PAD3R：从单目视频中进行姿态感知的动态3D重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态3D重建 单目视频 姿态估计 可变形物体 3D高斯表示

📋 核心要点

  1. 现有方法难以处理长视频中物体的大幅度形变、剧烈相机运动和有限视角覆盖等问题。
  2. PAD3R通过训练个性化的姿态估计器，并结合预训练的图像到3D模型和长期2D点跟踪，优化可变形3D高斯表示。
  3. 实验结果表明，PAD3R在具有挑战性的场景中表现出良好的鲁棒性和泛化能力，能够重建高保真度的3D模型。

📝 摘要（中文）

PAD3R是一种从随意拍摄的、无姿态单目视频中重建可变形3D物体的方法。与现有方法不同，PAD3R能够处理包含显著物体变形、大规模相机运动和有限视角覆盖的长视频序列，这些通常对传统系统构成挑战。该方法的核心是训练一个个性化的、以物体为中心的姿态估计器，并由预训练的图像到3D模型进行监督。这指导了可变形3D高斯表示的优化。该优化过程还受到整个输入视频上的长期2D点跟踪的约束。通过结合生成先验和可微渲染，PAD3R以类别无关的方式重建物体的高保真、铰接式3D表示。大量的定性和定量结果表明，PAD3R是稳健的，并且在具有挑战性的场景中具有良好的泛化能力，突出了其在动态场景理解和3D内容创建方面的潜力。

🔬 方法详解

问题定义：现有方法在处理从随意拍摄的单目视频中重建可变形3D物体时，面临着物体大幅度形变、剧烈相机运动以及视角覆盖有限等挑战。这些因素会导致重建结果不准确，甚至失败。现有方法通常难以处理长视频序列，并且对初始化姿态有较强的依赖性。

核心思路：PAD3R的核心思路是利用一个个性化的、以物体为中心的姿态估计器来引导可变形3D高斯表示的优化。通过预训练的图像到3D模型提供监督信号，并结合长期2D点跟踪作为约束，从而实现对物体形变和相机运动的鲁棒估计。这种方法结合了生成先验和可微渲染，能够在类别无关的情况下重建高保真度的3D模型。

技术框架：PAD3R的整体框架包括以下几个主要模块：1) 姿态估计器训练：使用预训练的图像到3D模型监督训练一个个性化的姿态估计器。2) 3D高斯表示优化：利用姿态估计器提供的姿态信息，优化可变形3D高斯表示，使其能够准确地表示物体的形状和外观。3) 长期2D点跟踪：在整个视频序列上进行2D点跟踪，为3D重建提供额外的约束。4) 可微渲染：使用可微渲染技术，将3D高斯表示渲染成2D图像，并与输入视频进行比较，从而优化3D表示。

关键创新：PAD3R的关键创新在于其姿态感知的动态3D重建方法。通过训练一个个性化的姿态估计器，并结合预训练的图像到3D模型和长期2D点跟踪，PAD3R能够有效地处理物体形变和相机运动，从而实现对可变形物体的准确3D重建。与现有方法相比，PAD3R不需要预先知道物体的姿态，并且能够处理长视频序列。

关键设计：PAD3R的关键设计包括：1) 个性化的姿态估计器：针对每个物体训练一个独立的姿态估计器，使其能够更好地适应物体的特定形状和运动模式。2) 3D高斯表示：使用3D高斯表示来表示物体的形状和外观，这种表示方法具有可微性，便于优化。3) 长期2D点跟踪：使用光流等技术在整个视频序列上进行2D点跟踪，为3D重建提供额外的约束。4) 损失函数：使用多种损失函数来优化3D高斯表示，包括图像重建损失、姿态损失和2D点跟踪损失。

📊 实验亮点

PAD3R在多个具有挑战性的数据集上进行了评估，包括包含大幅度形变和剧烈相机运动的视频序列。实验结果表明，PAD3R能够重建高保真度的3D模型，并且在重建精度和鲁棒性方面优于现有方法。具体性能数据未知，但论文强调了其在复杂场景下的泛化能力。

🎯 应用场景

PAD3R具有广泛的应用前景，包括动态场景理解、3D内容创建、虚拟现实和增强现实等领域。该技术可以用于重建人体、动物和服装等可变形物体的3D模型，从而为动画制作、游戏开发和虚拟试穿等应用提供支持。此外，PAD3R还可以用于机器人导航和物体识别等任务，提高机器人的感知能力。

📄 摘要（原文）

We present PAD3R, a method for reconstructing deformable 3D objects from casually captured, unposed monocular videos. Unlike existing approaches, PAD3R handles long video sequences featuring substantial object deformation, large-scale camera movement, and limited view coverage that typically challenge conventional systems. At its core, our approach trains a personalized, object-centric pose estimator, supervised by a pre-trained image-to-3D model. This guides the optimization of deformable 3D Gaussian representation. The optimization is further regularized by long-term 2D point tracking over the entire input video. By combining generative priors and differentiable rendering, PAD3R reconstructs high-fidelity, articulated 3D representations of objects in a category-agnostic way. Extensive qualitative and quantitative results show that PAD3R is robust and generalizes well across challenging scenarios, highlighting its potential for dynamic scene understanding and 3D content creation.