Easy-3Dfy: Object-Level Geometric Composition for Single-Image 3D Scene Construction

📄 arXiv: 2610.32250v1 📥 PDF

作者: Ziang Zhang, Wenyou Yi, Zehan Wang, Jiachen Xu, Xintong Han, Chunchao Guo, Zhou Zhao

分类: cs.CV, cs.AI

发布日期: 2026-10-23

💡 一句话要点

提出Easy-3Dfy以解决单图像3D场景构建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景构建 几何组合 对象生成 空间理解 深度学习

📋 核心要点

  1. 现有方法在细粒度场景几何和资产质量方面存在不足，难以实现高质量的3D场景构建。
  2. Easy-3Dfy通过将对象生成与场景布局估计解耦，利用专业模型的优势，提升了3D场景构建的效果。
  3. 在Scene-Maker和3D-FUTURE200数据集上，Easy-3Dfy在多个几何指标上超越了SAM-3Dfy，显示出显著的性能提升。

📝 摘要（中文）

单图像3D场景构建是3D视觉中的一个基本问题。近期方法如SAM-3Dfy实现了3D资产及其场景布局的端到端重建，但在细粒度场景几何和资产质量上仍存在挑战。我们提出了Easy-3Dfy，一个将对象生成与场景布局估计解耦的组合工作流，使得专业模型能够充分发挥各自的优势。通过RPF对齐器建立对象局部网格与部分场景点图之间的几何对应关系，恢复场景组合的对象布局。该工作流在多个几何指标上始终优于SAM-3Dfy，且不需要完整的场景级监督。我们的结果表明，显式几何组合能够有效结合高质量对象生成与强大的空间理解，同时使工作流能够独立受益于3D对象生成和基础模型的进展。

🔬 方法详解

问题定义：本论文旨在解决单图像3D场景构建中的几何细节不足和资产质量问题。现有方法如SAM-3Dfy在处理复杂场景时表现不佳，尤其是在细粒度几何和对象质量方面存在局限。

核心思路：论文提出的Easy-3Dfy工作流通过解耦对象生成与场景布局估计，使得不同模型能够各自发挥优势，从而提升整体重建质量。

技术框架：整体架构包括对象生成模块和场景布局估计模块，二者通过RPF对齐器进行连接，建立几何对应关系，最终实现高质量的场景组合。

关键创新：最重要的技术创新在于引入了RPF对齐器，使得对象局部网格与场景点图之间的几何对应关系得以建立，从而有效恢复对象布局。与现有方法相比，该方法在不依赖完整场景级监督的情况下，显著提升了重建效果。

关键设计：在设计中，采用了特定的损失函数以优化几何对齐效果，并在网络结构上进行了调整，以适应不同模型的特性，确保生成的对象与场景布局的高质量匹配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个几何指标上，Easy-3Dfy在Scene-Maker和3D-FUTURE200数据集上均优于SAM-3Dfy，显示出显著的性能提升，具体提升幅度未知。这表明该方法在高质量对象生成与空间理解的结合上具有明显优势。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和游戏开发等，能够为3D场景的快速构建提供高效的解决方案。随着技术的进步，Easy-3Dfy有望在自动化设计和智能制造等领域发挥更大的作用，推动3D视觉技术的普及与应用。

📄 摘要（原文）

Single-image 3D scene construction is a fundamental problem in 3D vision. Recent methods such as SAM-3Dfy enable end-to-end reconstruction of 3D assets and their scene layouts, but still struggle with fine-grained scene geometry and asset quality. Meanwhile, specialized 3D object generators provide detailed object geometry, while 3D foundation models offer strong and generalizable spatial understanding. We propose Easy-3Dfy, a compositional workflow that decouples object generation from scene layout estimation, allowing specialized models to fully exploit their respective strengths. An RPF-based aligner then bridges these capabilities by establishing geometric correspondence between object-local meshes and partial scene pointmaps, recovering object layout for scene composition. Without requiring complete scene-level supervision, the proposed workflow consistently outperforms SAM-3Dfy across multiple geometric metrics on Scene-Maker and 3D-FUTURE200. Our results demonstrate that explicit geometric composition can effectively combine high-quality object generation with strong spatial understanding, while enabling the workflow to benefit independently from advances in both 3D object generation and foundation models.