MegaSynth: Scaling Up 3D Scene Reconstruction with Synthesized Data

📄 arXiv: 2412.14166v2 📥 PDF

作者: Hanwen Jiang, Zexiang Xu, Desai Xie, Ziwen Chen, Haian Jin, Fujun Luan, Zhixin Shu, Kai Zhang, Sai Bi, Xin Sun, Jiuxiang Gu, Qixing Huang, Georgios Pavlakos, Hao Tan

分类: cs.CV

发布日期: 2024-12-18 (更新: 2025-02-24)

备注: Project page: https://hwjiang1510.github.io/MegaSynth/

💡 一句话要点

MegaSynth：通过合成数据扩展3D场景重建规模

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景重建 合成数据 大规模数据集 程序化生成 几何建模

📋 核心要点

  1. 现有3D场景重建方法受限于真实数据的规模，难以训练出泛化性强的模型。
  2. MegaSynth通过程序化生成大规模合成数据，避免了对复杂语义信息的建模，实现了数据生成的可扩展性。
  3. 实验表明，使用MegaSynth进行训练可以显著提高重建质量，甚至仅使用MegaSynth训练的模型也能达到与真实数据训练相当的性能。

📝 摘要（中文）

本文提出通过使用合成数据进行训练来扩展3D场景重建的规模。核心是MegaSynth，一个程序生成的3D数据集，包含70万个场景，比之前的真实数据集DL3DV大50多倍，极大地扩展了训练数据。为了实现可扩展的数据生成，关键思想是消除语义信息，从而无需对复杂的语义先验（如对象可供性和场景组成）进行建模。相反，使用基本的空间结构和几何图元对场景进行建模，从而提供可扩展性。此外，控制数据复杂度以促进训练，同时将其与真实世界的数据分布松散对齐，以有利于真实世界的泛化。探索了使用MegaSynth和可用的真实数据训练LRM。实验结果表明，使用MegaSynth进行联合训练或预训练可将跨不同图像域的重建质量提高1.2到1.8 dB PSNR。此外，仅在MegaSynth上训练的模型与在真实数据上训练的模型性能相当，突出了3D重建的低级性质。此外，还提供了对MegaSynth的属性的深入分析，以增强模型能力、训练稳定性和泛化能力，以及在其他任务中的应用。

🔬 方法详解

问题定义：现有的3D场景重建方法严重依赖于真实世界的数据集，但这些数据集通常规模有限，难以覆盖各种场景和光照条件，导致训练出的模型泛化能力不足。此外，对复杂语义信息的建模增加了数据生成的难度和成本。

核心思路：MegaSynth的核心思路是通过程序化生成大规模的合成数据来解决真实数据不足的问题。为了实现数据生成的可扩展性，该方法放弃了对复杂语义信息的精确建模，转而关注基本的空间结构和几何图元。这样可以在保证数据多样性的同时，降低数据生成的复杂度。

技术框架：MegaSynth的整体框架包括以下几个主要阶段：1) 定义场景的基本空间结构，例如房间的形状和大小；2) 使用几何图元（如立方体、球体、圆柱体等）填充场景，模拟物体；3) 控制数据的复杂度，避免过度拟合；4) 将合成数据与真实数据分布进行松散对齐，以提高模型的泛化能力。然后，使用生成的MegaSynth数据集训练LRM（Lightweight Refinement Module）模型。

关键创新：MegaSynth最重要的技术创新点在于其数据生成策略，即通过消除语义信息来实现大规模合成数据的生成。与传统的需要精确建模物体 affordance 和场景组成的合成数据生成方法不同，MegaSynth 关注于场景的几何结构和空间关系，从而大大降低了数据生成的难度，实现了数据集规模的显著扩展。

关键设计：MegaSynth的关键设计包括：1) 使用程序化生成方法，可以灵活控制场景的各种参数，例如房间大小、物体数量、光照条件等；2) 使用简单的几何图元来模拟物体，避免了对复杂物体形状的建模；3) 通过控制数据的复杂度，例如限制物体的数量和种类，来避免模型过度拟合；4) 通过调整合成数据的分布，使其与真实数据的分布保持一定的相似性，以提高模型的泛化能力。具体的损失函数和网络结构的选择取决于所使用的LRM模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用MegaSynth进行联合训练或预训练可以将跨不同图像域的重建质量提高1.2到1.8 dB PSNR。更重要的是，仅在MegaSynth上训练的模型与在真实数据上训练的模型性能相当，这表明了3D重建任务的低级特性，并验证了MegaSynth数据生成策略的有效性。

🎯 应用场景

MegaSynth的研究成果可以广泛应用于各种需要3D场景重建的领域，例如机器人导航、自动驾驶、虚拟现实、增强现实等。通过使用MegaSynth训练的模型，可以提高这些应用在真实世界环境中的性能和鲁棒性。此外，MegaSynth的数据生成方法也可以推广到其他需要大规模训练数据的任务中。

📄 摘要（原文）

We propose scaling up 3D scene reconstruction by training with synthesized data. At the core of our work is MegaSynth, a procedurally generated 3D dataset comprising 700K scenes - over 50 times larger than the prior real dataset DL3DV - dramatically scaling the training data. To enable scalable data generation, our key idea is eliminating semantic information, removing the need to model complex semantic priors such as object affordances and scene composition. Instead, we model scenes with basic spatial structures and geometry primitives, offering scalability. Besides, we control data complexity to facilitate training while loosely aligning it with real-world data distribution to benefit real-world generalization. We explore training LRMs with both MegaSynth and available real data. Experiment results show that joint training or pre-training with MegaSynth improves reconstruction quality by 1.2 to 1.8 dB PSNR across diverse image domains. Moreover, models trained solely on MegaSynth perform comparably to those trained on real data, underscoring the low-level nature of 3D reconstruction. Additionally, we provide an in-depth analysis of MegaSynth's properties for enhancing model capability, training stability, and generalization, as well as application to other tasks.