Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

📄 arXiv: 2610.01286v1 📥 PDF

作者: Xinhao Xiang, Weiyang Li, Zhijie Zheng, Abhijeet Rastogi, Jiawei Zhang

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出Dyna3以解决动态场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态场景重建 深度模型 无训练方法 视觉语言模型 多视图深度估计 实例级分割 机器人导航 增强现实

📋 核心要点

  1. 现有深度模型如DA3假设静态场景，限制了在动态环境中的应用。
  2. Dyna3通过结合DA3的跨视图特征与最佳匹配搜索，实现了无训练的4D动态场景重建。
  3. 实验表明，Dyna3在动态物体分割上提升了5.5个百分点，并在速度和内存使用上显著优于现有方法。

📝 摘要（中文）

近年来，深度基础模型如Depth Anything 3（DA3）在多视图深度估计方面取得了显著进展，但其假设静态三维场景的前提限制了其在真实动态环境中的应用。现有的无训练4D方法如Easi3R和VGGT4D依赖于经过对应训练的骨干网络，缺乏深度模型所需的跨帧匹配能力。本文提出Dyna3，一个无训练框架，扩展了DA3以实现4D动态场景重建，无需任何微调。我们的关键见解是，DA3的跨视图特征在与最佳匹配特征搜索结合时，隐含地编码了运动区分信号。实验结果表明，Dyna3在动态物体分割上超越了最先进的VGGT4D方法，且在姿态估计和4D重建速度上显著提升。

🔬 方法详解

问题定义：本文旨在解决现有深度模型在动态场景重建中的局限性，特别是缺乏跨帧匹配能力的问题。现有方法如DA3无法处理动态物体，限制了其在真实世界中的应用。

核心思路：Dyna3的核心思路是利用DA3的跨视图特征，结合最佳匹配特征搜索，来隐式编码运动信息，从而实现动态场景的重建，而无需进行微调。

技术框架：Dyna3的整体架构包括两个主要模块：静态背景的跨帧对齐和每帧的动态点云生成。通过视觉语言模型（VLM）自动生成场景特定的语义提示，增强实例级分割的精度。

关键创新：Dyna3的主要创新在于其无训练的框架设计，利用深度模型的跨视图特征来实现动态场景重建，这与依赖于对应训练的传统方法本质上不同。

关键设计：在技术细节上，Dyna3采用了最佳匹配特征搜索策略，确保静态表面在全局范围内找到一致匹配，而动态物体则通过分离处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Dyna3在动态物体分割上相较于VGGT4D提升了5.5个百分点，同时在姿态估计速度上提高了13倍，4D重建速度提高了3倍，内存使用降低了4到8倍，展现了显著的性能优势。

🎯 应用场景

Dyna3的研究成果在多个领域具有潜在应用价值，包括机器人导航、增强现实和视频监控等。其高效的动态场景重建能力能够支持更复杂的环境理解和交互，推动智能系统在动态环境中的应用。未来，Dyna3可能会在实时处理和高密度时间采样方面发挥重要作用。

📄 摘要（原文）

Recent depth foundation models like Depth Anything 3 (DA3) achieve remarkable multi-view depth estimation but assume static 3D scenes, limiting their applicability to real-world dynamic environments. Existing training-free 4D methods like Easi3R and VGGT4D rely on correspondence-trained backbones whose attention encodes cross-frame matching, a property absent in depth-only models like DA3. We present Dyna3, a training-free framework that extends DA3 for 4D dynamic scene reconstruction without any fine-tuning. Our key insight is that DA3's cross-view features, though trained only for depth consistency, implicitly encode motion-discriminative signals when combined with best-match feature search across frames. Its static surfaces find consistent matches globally, while dynamic objects cannot. We further adopt vision-language models (VLM) to automatically generate scene-specific semantic prompts for SAM 3, enabling precise instance-level segmentation that distinguishes which objects move from what objects exist. For reconstruction, we decouple the scene into a cross-frame aligned static background and per-frame dynamic point clouds. Experiments on four datasets demonstrate that Dyna3 surpasses correspondence-trained methods with +5.5pp J-Mean over state-of-the-art VGGT4D on dynamic object segmentation, while achieving up to 13x faster pose estimation and 3x faster 4D reconstruction with 4 to 8x lower memory. Dyna3 could therefore enable much denser temporal sampling that prior methods cannot support.