SceneFoundry: Generating Interactive Infinite 3D Worlds

📄 arXiv: 2601.05810v1 📥 PDF

作者: ChunTeng Chen, YiChen Hsu, YiWen Liu, WeiFang Sun, TsaiChing Ni, ChunYi Lee, Min Sun, YuanFu Yang

分类: cs.CV, cs.AI, cs.LG, cs.RO

发布日期: 2026-01-09

备注: 15 pages

💡 一句话要点

SceneFoundry：提出一种语言引导的扩散框架，用于生成可交互的无限3D场景。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景生成 扩散模型 语言引导 具身智能 机器人学习 铰接物体 可微渲染

📋 核心要点

  1. 现有生成方法难以捕捉真实世界室内环境的功能复杂性，尤其是在包含可移动部件的铰接物体方面。
  2. SceneFoundry利用语言引导的扩散框架，生成具有功能性铰接家具和语义多样布局的公寓级3D世界。
  3. 实验表明，SceneFoundry能够生成结构有效、语义连贯且功能可交互的环境，适用于具身智能研究。

📝 摘要（中文）

本文提出SceneFoundry，一个语言引导的扩散框架，用于生成公寓尺度的3D世界，其中包含功能性的可活动家具和语义多样的布局，以用于机器人训练。该框架从自然语言提示出发，利用大型语言模型（LLM）控制楼层布局的生成，同时基于扩散的后验采样有效地从大型3D资源库中填充可活动资产。为了确保物理可用性，SceneFoundry采用可微的引导函数来调节物体数量，防止活动部件碰撞，并保持足够的步行空间以供机器人导航。大量实验表明，我们的框架能够跨越不同的场景类型和条件，生成结构有效、语义连贯且功能可交互的环境，从而促进可扩展的具身智能研究。

🔬 方法详解

问题定义：现有方法在生成大规模、可交互且物理真实的3D环境时，难以捕捉真实世界室内环境的功能复杂性，尤其是在包含可移动部件的铰接物体方面。这限制了机器人学习和具身智能的发展，因为机器人需要在这些环境中进行操作和导航。现有方法难以保证生成环境的物理可用性，例如物体数量过多、活动部件碰撞、步行空间不足等问题。

核心思路：SceneFoundry的核心思路是利用语言引导的扩散模型，结合大型语言模型（LLM）和可微的引导函数，生成具有功能性铰接家具和语义多样布局的3D世界。通过LLM控制布局，扩散模型填充物体，可微引导函数保证物理可用性。

技术框架：SceneFoundry的整体框架包含以下几个主要模块：1) LLM模块：根据自然语言提示生成楼层布局。2) 扩散模型模块：从大型3D资源库中采样并填充可活动资产。3) 可微引导函数模块：调节物体数量，防止活动部件碰撞，并保持足够的步行空间。整个流程是，首先由LLM根据语言提示生成场景布局，然后扩散模型根据布局填充物体，最后可微引导函数对场景进行优化，保证物理可用性。

关键创新：SceneFoundry的关键创新在于：1) 提出了一种语言引导的扩散框架，能够生成具有功能性铰接家具和语义多样布局的3D世界。2) 采用了可微的引导函数，能够有效地调节物体数量，防止活动部件碰撞，并保持足够的步行空间。3) 将LLM与扩散模型相结合，实现了对3D场景生成的精细控制。

关键设计：SceneFoundry的关键设计包括：1) 使用大型语言模型（LLM）来解析自然语言提示，并生成场景布局。2) 使用扩散模型来生成3D物体，并将其放置在场景中。3) 设计了可微的引导函数，用于约束场景的物理属性，例如物体数量、活动部件碰撞和步行空间。这些引导函数可以被集成到扩散模型的训练过程中，从而生成更加逼真和可用的3D场景。

📊 实验亮点

实验结果表明，SceneFoundry能够生成结构有效、语义连贯且功能可交互的3D环境。通过可微引导函数，有效防止了活动部件碰撞，并保证了足够的步行空间。与现有方法相比，SceneFoundry在生成具有复杂功能性家具的3D场景方面具有显著优势。具体性能数据未知，但论文强调了其在生成结构有效、语义连贯和功能可交互环境方面的优势。

🎯 应用场景

SceneFoundry生成的3D环境可用于机器人学习、具身智能、虚拟现实、游戏开发等领域。它可以为机器人提供一个安全、可控的环境进行训练和测试，从而加速机器人技术的发展。在虚拟现实和游戏开发中，可以用于生成逼真的室内场景，提升用户体验。该研究的潜在价值在于降低了3D环境生成的成本和难度，促进了相关领域的发展。

📄 摘要（原文）

The ability to automatically generate large-scale, interactive, and physically realistic 3D environments is crucial for advancing robotic learning and embodied intelligence. However, existing generative approaches often fail to capture the functional complexity of real-world interiors, particularly those containing articulated objects with movable parts essential for manipulation and navigation. This paper presents SceneFoundry, a language-guided diffusion framework that generates apartment-scale 3D worlds with functionally articulated furniture and semantically diverse layouts for robotic training. From natural language prompts, an LLM module controls floor layout generation, while diffusion-based posterior sampling efficiently populates the scene with articulated assets from large-scale 3D repositories. To ensure physical usability, SceneFoundry employs differentiable guidance functions to regulate object quantity, prevent articulation collisions, and maintain sufficient walkable space for robotic navigation. Extensive experiments demonstrate that our framework generates structurally valid, semantically coherent, and functionally interactive environments across diverse scene types and conditions, enabling scalable embodied AI research.