Review of Feed-forward 3D Reconstruction: From DUSt3R to VGGT

📄 arXiv: 2507.08448v1 📥 PDF

作者: Wei Zhang, Yihang Wu, Songhua Li, Wenjie Ma, Xin Ma, Qiang Li, Qi Wang

分类: cs.CV, cs.AI

发布日期: 2025-07-11

💡 一句话要点

综述前馈3D重建：从DUSt3R到VGGT，探索单次前向推理的3D场景重建技术。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 深度学习 前馈网络 Transformer 相机姿态估计

📋 核心要点

  1. 传统三维重建方法流程复杂、计算成本高，且在无纹理区域鲁棒性差，难以满足实时性要求。
  2. 论文综述了基于深度学习的前馈三维重建方法，该方法通过单次前向推理直接从图像中恢复场景结构。
  3. 该综述对比了传统方法和基于学习的方法，概述了数据集和评估指标，并讨论了未来挑战和机遇。

📝 摘要（中文）

三维重建旨在恢复场景的稠密三维结构，是增强/虚拟现实、自动驾驶和机器人等众多应用的基础技术。传统的运动结构恢复(SfM)和多视图立体(MVS)等流程通过迭代优化实现高精度，但受到复杂工作流程、高计算成本以及在无纹理区域等挑战性场景中鲁棒性差的限制。近年来，深度学习催化了三维重建的范式转变。以DUSt3R为代表的新模型开创了一种前馈方法。这些模型采用统一的深度网络，通过单次前向传播，直接从无约束图像集中联合推断相机姿态和稠密几何结构。本综述系统地回顾了这一新兴领域，剖析了这些前馈模型的技术框架，包括基于Transformer的对应关系建模、联合姿态和几何回归机制以及从双视图扩展到多视图场景的策略。为了突出这种新范式的颠覆性，我们将其与传统流程和早期的基于学习的方法（如MVSNet）进行了对比。此外，我们还概述了相关数据集和评估指标。最后，我们讨论了该技术的广泛应用前景，并确定了未来的关键挑战和机遇，例如模型精度和可扩展性以及处理动态场景。

🔬 方法详解

问题定义：论文旨在解决传统三维重建方法计算复杂度高、鲁棒性差的问题，尤其是在无纹理区域等挑战性场景下。现有方法通常依赖迭代优化，难以实现实时性，限制了其在自动驾驶、机器人等领域的应用。

核心思路：论文的核心思路是利用深度学习，特别是前馈神经网络，直接从图像中回归出场景的三维结构和相机姿态，避免了传统方法的迭代优化过程。这种方法旨在提高重建速度和鲁棒性，实现实时三维重建。

技术框架：前馈三维重建模型通常包含以下几个主要模块：1) 特征提取网络，用于从输入图像中提取图像特征；2) 基于Transformer的对应关系建模模块，用于建立不同图像之间的像素对应关系；3) 联合姿态和几何回归模块，用于同时预测相机姿态和场景几何结构；4) 多视图融合模块，用于将多个视角的重建结果融合，提高重建精度。

关键创新：最重要的技术创新点在于使用深度神经网络进行端到端的三维重建，避免了传统方法的复杂流程和迭代优化。通过学习图像和三维结构之间的映射关系，实现了单次前向推理的三维重建，大大提高了重建速度。

关键设计：关键设计包括：1) 使用Transformer进行对应关系建模，能够有效地捕捉图像之间的长程依赖关系；2) 设计合适的损失函数，例如几何一致性损失和光度一致性损失，用于约束重建结果的准确性；3) 使用多尺度特征融合，提高对不同尺度场景的重建能力；4) 设计高效的网络结构，例如使用轻量级卷积神经网络或知识蒸馏，降低计算复杂度。

📊 实验亮点

该综述重点介绍了基于深度学习的前馈三维重建方法，特别是DUSt3R和VGGT等代表性模型。这些模型通过单次前向推理，实现了快速且鲁棒的三维重建，在速度上相比传统方法有显著提升。虽然精度方面仍有提升空间，但其在实时性方面的优势使其在许多应用场景中具有巨大潜力。

🎯 应用场景

该研究成果可广泛应用于增强现实/虚拟现实、自动驾驶、机器人等领域。在AR/VR中，可以实现实时场景重建，提升用户体验。在自动驾驶中，可以为车辆提供准确的环境感知信息，提高行驶安全性。在机器人领域，可以帮助机器人理解周围环境，实现自主导航和操作。

📄 摘要（原文）

3D reconstruction, which aims to recover the dense three-dimensional structure of a scene, is a cornerstone technology for numerous applications, including augmented/virtual reality, autonomous driving, and robotics. While traditional pipelines like Structure from Motion (SfM) and Multi-View Stereo (MVS) achieve high precision through iterative optimization, they are limited by complex workflows, high computational cost, and poor robustness in challenging scenarios like texture-less regions. Recently, deep learning has catalyzed a paradigm shift in 3D reconstruction. A new family of models, exemplified by DUSt3R, has pioneered a feed-forward approach. These models employ a unified deep network to jointly infer camera poses and dense geometry directly from an Unconstrained set of images in a single forward pass. This survey provides a systematic review of this emerging domain. We begin by dissecting the technical framework of these feed-forward models, including their Transformer-based correspondence modeling, joint pose and geometry regression mechanisms, and strategies for scaling from two-view to multi-view scenarios. To highlight the disruptive nature of this new paradigm, we contrast it with both traditional pipelines and earlier learning-based methods like MVSNet. Furthermore, we provide an overview of relevant datasets and evaluation metrics. Finally, we discuss the technology's broad application prospects and identify key future challenges and opportunities, such as model accuracy and scalability, and handling dynamic scenes.