GEN3D: Generating Domain-Free 3D Scenes from a Single Image

📄 arXiv: 2511.14291v1 📥 PDF

作者: Yuxin Zhang, Ziyu Lu, Hongbo Duan, Keyu Fan, Pengting Luo, Peiyu Zhuang, Mengyu Yang, Houde Liu

分类: cs.CV, cs.AI

发布日期: 2025-11-18

备注: 5 pages , 2 figures

💡 一句话要点

GEN3D：提出一种从单张图像生成无领域限制的3D场景的方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知 (Perception & SLAM)

关键词: 3D场景生成 单目图像 高斯溅射 世界模型 神经渲染 RGBD图像 领域泛化

📋 核心要点

  1. 现有神经3D重建方法依赖于密集的多视角图像，限制了其广泛应用。
  2. Gen3D通过从单张图像生成3D场景，维护和扩展世界模型，最终优化高斯溅射表示。
  3. 实验结果表明，Gen3D在生成世界模型和合成新视角方面表现出强大的泛化能力和优越性能。

📝 摘要（中文）

本文提出了一种名为Gen3D的新方法，用于从单张图像生成高质量、广范围和通用的3D场景。该方法首先通过提升RGBD图像来创建初始点云，然后维护和扩展其世界模型。最后，通过优化高斯溅射表示来完成3D场景的生成。在各种数据集上的大量实验表明，我们的方法在生成世界模型和合成高保真且一致的新视角方面具有强大的泛化能力和卓越的性能。

🔬 方法详解

问题定义：现有3D场景生成方法依赖于多视角图像，成本高昂且限制了应用范围。单目图像的3D场景生成面临深度估计不准确、场景不完整等问题，难以生成高质量、泛化性强的3D场景。

核心思路：Gen3D的核心思路是从单张RGBD图像出发，构建初始点云，然后通过维护和扩展世界模型，逐步完善3D场景。利用高斯溅射表示进行优化，以生成高质量的新视角图像。

技术框架：Gen3D的整体框架包括以下几个阶段：1. RGBD图像输入：输入单张RGBD图像，其中RGB图像提供颜色信息，D图像提供深度信息。2. 初始点云生成：利用RGBD图像生成初始点云，作为3D场景的基础。3. 世界模型维护与扩展：通过某种机制（论文未明确说明具体方法，未知）维护和扩展世界模型，逐步完善3D场景的结构和细节。4. 高斯溅射表示优化：使用高斯溅射表示对3D场景进行建模，并通过优化该表示来生成高质量的新视角图像。

关键创新：Gen3D的关键创新在于其能够从单张图像生成高质量、无领域限制的3D场景。通过维护和扩展世界模型，以及利用高斯溅射表示进行优化，克服了单目图像3D场景生成中的深度估计不准确和场景不完整等问题。

关键设计：论文中没有详细说明关键参数设置、损失函数和网络结构等技术细节，具体实现方法未知。但可以推测，世界模型的维护与扩展可能涉及到一些先验知识或学习到的规则，高斯溅射表示的优化可能采用了某种基于渲染的损失函数。

📊 实验亮点

Gen3D在多个数据集上进行了实验，证明了其强大的泛化能力和优越的性能。实验结果表明，Gen3D能够生成高质量、高保真且一致的新视角图像，优于现有的单目3D场景生成方法。具体的性能数据和对比基线在摘要中未提及，详细信息未知。

🎯 应用场景

Gen3D在机器人导航、虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于生成逼真的3D环境，为机器人提供更丰富的感知信息，提升虚拟现实和增强现实的用户体验，并为游戏开发提供更高效的场景生成方法。此外，该技术还有助于构建更强大的世界模型，推动具身智能的发展。

📄 摘要（原文）

Despite recent advancements in neural 3D reconstruction, the dependence on dense multi-view captures restricts their broader applicability. Additionally, 3D scene generation is vital for advancing embodied AI and world models, which depend on diverse, high-quality scenes for learning and evaluation. In this work, we propose Gen3d, a novel method for generation of high-quality, wide-scope, and generic 3D scenes from a single image. After the initial point cloud is created by lifting the RGBD image, Gen3d maintains and expands its world model. The 3D scene is finalized through optimizing a Gaussian splatting representation. Extensive experiments on diverse datasets demonstrate the strong generalization capability and superior performance of our method in generating a world model and Synthesizing high-fidelity and consistent novel views.