HetScene: Heterogeneity-Aware Diffusion for Dense Indoor Scene Generation

📄 arXiv: 2605.13586v1 📥 PDF

作者: Zini Chen, Junming Huang, Rong Zhang, Jiamin Xu, Cheng Peng, Chi Wang, Weiwei Xu

分类: cs.CV, cs.AI

发布日期: 2026-05-13

💡 一句话要点

HetScene：异构感知扩散模型用于稠密室内场景生成

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 室内场景生成 扩散模型 异构分解 深度学习 具身智能

📋 核心要点

  1. 现有方法难以处理具有密集物体排列和复杂空间依赖关系的真实室内场景，导致可扩展性受限。
  2. HetScene将物体分解为主要和次要对象，提出异构两阶段生成框架，解耦结构布局生成和上下文布局生成。
  3. SLG首先生成主要对象的全局连贯结构布局，为场景建立稳定的宏骨架，提升了生成质量。

📝 摘要（中文）

生成可控且物理上合理的室内场景是为具身智能构建高保真模拟环境的关键前提。然而，现有的基于深度学习的方法通常将所有对象视为统一生成过程中的同质实例。虽然对于稀疏和简单的布局有效，但它们难以建模具有密集对象排列和复杂空间依赖关系的真实布局，导致有限的可扩展性和降低的物理合理性。为了应对这些挑战，我们从结构异构性的角度重新审视室内布局生成，并根据对象在塑造场景中的不同角色将对象分解为主要对象和次要对象。基于这种分解，我们提出了HetScene，一个异构的两阶段生成框架，将室内布局综合分解为结构布局生成（SLG）和上下文布局生成（CLG）。SLG首先生成全局连贯的结构布局，其中仅包含以文本描述、自上而下的二元房间掩码和空间关系图为条件的主要对象，从而建立大型核心家具的稳定全局宏骨架。

🔬 方法详解

问题定义：现有室内场景生成方法将所有物体视为同质实例，难以处理真实场景中物体排列密集、空间关系复杂的布局，导致生成效果不佳，物理合理性降低，可扩展性不足。

核心思路：论文的核心思路是将室内场景中的物体根据其在场景中的作用分解为主要物体和次要物体，利用这种结构异构性来改进生成过程。主要物体构成场景的骨架，次要物体则填充细节。

技术框架：HetScene采用两阶段生成框架：1) 结构布局生成（SLG）：基于文本描述、房间掩码和空间关系图，生成主要物体的布局，构建场景的宏观骨架。2) 上下文布局生成（CLG）：在SLG的基础上，生成次要物体的布局，完善场景细节。整个框架利用扩散模型进行生成。

关键创新：最重要的创新点在于异构分解的思想，将物体区分为主要和次要，并分别进行生成。这种分解方式更符合人类对室内场景的认知，也更易于控制生成过程。与现有方法将所有物体同等对待的方式相比，HetScene能够更好地建模复杂场景的空间关系。

关键设计：SLG阶段的关键设计包括：使用空间关系图来约束主要物体之间的位置关系；使用扩散模型生成布局，保证生成的多样性和质量。CLG阶段的关键设计包括：以SLG的输出为条件，生成次要物体的布局；使用合适的损失函数来保证生成结果的物理合理性。

📊 实验亮点

论文提出了HetScene框架，通过异构分解和两阶段生成，显著提升了室内场景生成的质量和物理合理性。具体实验数据未知，但摘要强调该方法能够更好地处理密集物体排列和复杂空间依赖关系，解决了现有方法的局限性，为生成更真实的室内场景奠定了基础。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏开发、机器人仿真等领域。通过生成逼真的室内场景，可以为这些应用提供高质量的训练数据和交互环境，例如，可以用于训练机器人在复杂室内环境中导航和操作，或者为VR游戏提供更加真实的场景体验。未来，该技术有望进一步扩展到室外场景生成，为更广泛的应用提供支持。

📄 摘要（原文）

Generating controllable and physically plausible indoor scenes is a pivotal prerequisite for constructing high-fidelity simulation environments for embodied AI. However, existing deeplearning-based methods usually treat all objects as homogeneous instances within a unified generation process. While effective for sparse and simplistic layouts, they struggle to model realistic layouts with dense object arrangements and complex spatial dependencies, leadingto limited scalability and degraded physical plausibility. To deal with these challenges, we revisit indoor layout generation from the perspective of structural heterogeneity and decompose the objects into primary objects and secondary objects according to their distinct roles in shaping a scene. Based on this decomposition, we propose HetScene, a heterogeneous two-stage generation framework that decouples indoor layout synthesis into Structural Layout Generation (SLG) and Contextual Layout Generation (CLG). SLG first generates globally coherent structural layouts with only primary objects conditioned on text descriptions, top-down binary room masks, and spatial relation graphs, establishing a stable global macro-skeleton of large core furniture.