MonoFusion: Sparse-View 4D Reconstruction via Monocular Fusion

📄 arXiv: 2507.23782v1 📥 PDF

作者: Zihan Wang, Jeff Tan, Tarasha Khurana, Neehar Peri, Deva Ramanan

分类: cs.CV

发布日期: 2025-07-31

备注: ICCV 2025. Project Page: https://imnotprepared.github.io/research/25_DSR/

🔗 代码/项目: GITHUB

💡 一句话要点

MonoFusion：通过单目融合实现稀疏视角下的4D动态重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 稀疏视角 单目视觉 多视角融合 4D重建

📋 核心要点

  1. 现有动态场景重建方法依赖于密集的多视角相机阵列，成本高昂且难以捕捉真实场景。
  2. MonoFusion通过融合多个单目重建结果，克服了稀疏视角下多视角重建方法的局限性，提升重建质量。
  3. 在PanopticStudio和Ego-Exo4D数据集上的实验表明，MonoFusion在稀疏视角下实现了优于现有技术的高质量重建。

📝 摘要（中文）

本文研究了从稀疏视角视频中进行动态场景重建的问题。现有方法通常需要密集的、多视角的图像采集，例如Panoptic Studio，这需要数百个校准过的相机。这种多视角设置构建成本高昂，且无法捕捉各种各样的真实场景。与此相反，我们的目标是从少量稀疏视角的相机（例如，四个等距的、朝内的静态相机）重建动态的人类行为，例如修理自行车或跳舞，这些相机需要能够完整覆盖场景。我们发现，由于视点之间的重叠有限，密集多视角重建方法难以适应这种稀疏视角设置。为了解决这些限制，我们仔细对齐每个相机的独立单目重建结果，以产生时间上和视角上一致的动态场景重建。在PanopticStudio和Ego-Exo4D上的大量实验表明，我们的方法比现有技术实现了更高质量的重建，尤其是在渲染新视角时。

🔬 方法详解

问题定义：论文旨在解决从稀疏视角视频中重建动态场景的问题。现有密集多视角重建方法在稀疏视角下表现不佳，因为视点之间的重叠有限，导致重建质量下降。现有方法难以在成本和灵活性之间取得平衡。

核心思路：论文的核心思路是利用多个单目重建结果，通过对齐和融合这些结果，来克服稀疏视角带来的挑战。每个相机独立进行单目重建，然后将这些重建结果对齐，以确保时间上和视角上的一致性。这种方法避免了直接进行多视角重建的困难，并充分利用了每个视角的独立信息。

技术框架：MonoFusion的整体框架包括以下几个主要阶段：1) 单目重建：对每个相机拍摄的视频进行独立的单目重建，生成每个视角的3D场景表示。2) 对齐：将各个视角的单目重建结果进行对齐，消除视角之间的差异，确保重建结果在时间和空间上的一致性。3) 融合：将对齐后的单目重建结果进行融合，生成最终的动态场景重建结果。

关键创新：论文的关键创新在于提出了一种基于单目融合的稀疏视角动态场景重建方法。与传统的密集多视角方法相比，MonoFusion能够在稀疏视角下实现更高质量的重建。此外，通过对齐和融合单目重建结果，MonoFusion能够有效地利用每个视角的独立信息，并克服了视角之间重叠有限的问题。

关键设计：具体的对齐和融合方法未知，论文中可能使用了特定的优化算法或损失函数来确保重建结果的时间一致性和视角一致性。单目重建模块可能采用了现有的单目深度估计或三维重建技术。具体的网络结构和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MonoFusion在PanopticStudio和Ego-Exo4D数据集上实现了比现有技术更高质量的重建，尤其是在渲染新视角时。具体性能数据未知，但摘要强调了其优于现有技术的重建质量，表明该方法在稀疏视角下具有显著的优势。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、运动分析、人机交互等领域。例如，可以利用该技术从少量相机拍摄的视频中重建运动员的运动姿态，从而进行运动分析和训练指导。此外，该技术还可以用于创建沉浸式的虚拟现实体验，用户只需要少量相机即可捕捉自己的动作，并将其融入到虚拟环境中。

📄 摘要（原文）

We address the problem of dynamic scene reconstruction from sparse-view videos. Prior work often requires dense multi-view captures with hundreds of calibrated cameras (e.g. Panoptic Studio). Such multi-view setups are prohibitively expensive to build and cannot capture diverse scenes in-the-wild. In contrast, we aim to reconstruct dynamic human behaviors, such as repairing a bike or dancing, from a small set of sparse-view cameras with complete scene coverage (e.g. four equidistant inward-facing static cameras). We find that dense multi-view reconstruction methods struggle to adapt to this sparse-view setup due to limited overlap between viewpoints. To address these limitations, we carefully align independent monocular reconstructions of each camera to produce time- and view-consistent dynamic scene reconstructions. Extensive experiments on PanopticStudio and Ego-Exo4D demonstrate that our method achieves higher quality reconstructions than prior art, particularly when rendering novel views. Code, data, and data-processing scripts are available on https://github.com/ImNotPrepared/MonoFusion.