ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model
作者: Fangfu Liu, Wenqiang Sun, Hanyang Wang, Yikai Wang, Haowen Sun, Junliang Ye, Jun Zhang, Yueqi Duan
分类: cs.CV, cs.AI, cs.GR
发布日期: 2024-08-29 (更新: 2025-06-25)
备注: Project page: https://liuff19.github.io/ReconX
💡 一句话要点
ReconX：利用视频扩散模型从稀疏视图重建任意场景
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 三维重建 稀疏视图 视频扩散模型 生成模型 3D高斯溅射
📋 核心要点
- 现有方法在稀疏视图下重建三维场景时，由于信息不足，容易产生伪影和失真，重建质量难以保证。
- ReconX将稀疏视图重建问题转化为时间生成任务，利用预训练视频扩散模型的强大生成能力，提升重建效果。
- 实验结果表明，ReconX在多个真实数据集上优于现有方法，在重建质量和泛化性方面均有显著提升。
📝 摘要（中文）
三维场景重建的进步已经将现实世界的二维图像转化为三维模型，从数百张输入照片中产生逼真的三维结果。尽管在密集视图重建场景中取得了巨大成功，但从不足的捕获视图中渲染详细场景仍然是一个不适定的优化问题，通常导致在未见区域中出现伪影和失真。在本文中，我们提出了ReconX，一种新颖的三维场景重建范式，它将模糊的重建挑战重新定义为时间生成任务。关键的见解是释放大型预训练视频扩散模型的强大生成先验，用于稀疏视图重建。然而，三维视图一致性很难在直接从预训练模型生成的视频帧中得到精确的保留。为了解决这个问题，给定有限的输入视图，所提出的ReconX首先构建一个全局点云，并将其编码到上下文空间中作为三维结构条件。在条件的指导下，视频扩散模型然后合成既保留细节又表现出高度三维一致性的视频帧，确保场景从各个角度的连贯性。最后，我们通过置信度感知的3D高斯溅射优化方案从生成的视频中恢复3D场景。在各种真实世界数据集上的大量实验表明，我们的ReconX在质量和泛化能力方面优于最先进的方法。
🔬 方法详解
问题定义：论文旨在解决从稀疏视图重建高质量三维场景的问题。现有方法在视图数量不足时，难以准确推断未见区域的几何和纹理信息，导致重建结果出现伪影、模糊和几何失真等问题。这些问题限制了三维重建技术在实际应用中的范围，尤其是在难以获取大量视图的场景中。
核心思路：ReconX的核心思路是将三维重建问题转化为一个视频生成问题，并利用预训练的视频扩散模型强大的生成先验知识来指导重建过程。通过将稀疏视图作为条件，视频扩散模型可以生成具有三维一致性的视频序列，从而弥补稀疏视图带来的信息缺失，并提高重建质量。
技术框架：ReconX的整体框架包含以下几个主要步骤：1) 全局点云构建：利用输入的稀疏视图构建一个全局点云，作为场景的初步三维结构表示。2) 上下文编码：将全局点云编码到上下文空间中，作为视频扩散模型的条件输入。3) 视频生成：利用预训练的视频扩散模型，在上下文条件的指导下，生成具有三维一致性的视频帧序列。4) 三维重建：通过置信度感知的3D高斯溅射优化方案，从生成的视频帧中恢复出最终的三维场景。
关键创新：ReconX的关键创新在于将视频扩散模型引入到稀疏视图三维重建任务中。与传统方法直接从稀疏视图进行三维结构推断不同，ReconX利用视频扩散模型的生成能力来补充缺失的信息，从而提高重建质量和鲁棒性。此外，ReconX还设计了一种置信度感知的3D高斯溅射优化方案，以更好地利用生成的视频帧信息进行三维重建。
关键设计：ReconX的关键设计包括：1) 使用预训练的视频扩散模型，例如Stable Video Diffusion，以获得强大的生成先验。2) 设计上下文编码器，将全局点云编码为视频扩散模型可以理解的条件信息。3) 采用置信度感知的3D高斯溅射优化方案，根据视频帧的置信度权重来优化三维场景表示。具体的损失函数和网络结构细节在论文中有详细描述，包括用于优化高斯参数的损失函数以及上下文编码器的具体结构。
🖼️ 关键图片
📊 实验亮点
ReconX在多个真实世界数据集上进行了广泛的实验，结果表明其在重建质量和泛化能力方面均优于最先进的方法。具体而言，ReconX在重建精度（例如PSNR、SSIM等指标）上取得了显著提升，并且能够生成更逼真、更细节的三维场景。此外，ReconX在不同场景和不同视图数量下的表现均具有较强的鲁棒性，证明了其良好的泛化能力。
🎯 应用场景
ReconX在许多领域具有广泛的应用前景，例如虚拟现实、增强现实、机器人导航、自动驾驶、游戏开发和文化遗产保护等。该方法能够从有限的图像或视频中重建出高质量的三维场景，降低了三维建模的成本和难度，使得三维技术能够更广泛地应用于各种实际场景中。未来，ReconX有望成为一种通用的三维重建工具，为各行各业带来便利。
📄 摘要（原文）
Advancements in 3D scene reconstruction have transformed 2D images from the real world into 3D models, producing realistic 3D results from hundreds of input photos. Despite great success in dense-view reconstruction scenarios, rendering a detailed scene from insufficient captured views is still an ill-posed optimization problem, often resulting in artifacts and distortions in unseen areas. In this paper, we propose ReconX, a novel 3D scene reconstruction paradigm that reframes the ambiguous reconstruction challenge as a temporal generation task. The key insight is to unleash the strong generative prior of large pre-trained video diffusion models for sparse-view reconstruction. However, 3D view consistency struggles to be accurately preserved in directly generated video frames from pre-trained models. To address this, given limited input views, the proposed ReconX first constructs a global point cloud and encodes it into a contextual space as the 3D structure condition. Guided by the condition, the video diffusion model then synthesizes video frames that are both detail-preserved and exhibit a high degree of 3D consistency, ensuring the coherence of the scene from various perspectives. Finally, we recover the 3D scene from the generated video through a confidence-aware 3D Gaussian Splatting optimization scheme. Extensive experiments on various real-world datasets show the superiority of our ReconX over state-of-the-art methods in terms of quality and generalizability.