Agentic 3D Scene Generation with Spatially Contextualized VLMs
作者: Xinhang Liu, Yu-Wing Tai, Chi-Keung Tang
分类: cs.CV, cs.GR
发布日期: 2025-05-26 (更新: 2025-07-04)
备注: Project page: https://spatctxvlm.github.io/project_page/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Agentic 3D场景生成框架，利用空间上下文增强VLM在3D环境中的理解与编辑能力。
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D场景生成 视觉-语言模型 空间上下文 Agentic生成 场景超图
📋 核心要点
- 现有的视觉-语言模型在理解和生成结构化3D场景方面存在局限性，阻碍了其在空间任务中的应用。
- 论文提出了一种agentic 3D场景生成框架，通过构建和维护空间上下文，增强VLM的空间推理能力。
- 实验结果表明，该框架能够处理多样化的输入，并在交互式场景编辑和路径规划等任务中表现出良好的性能。
📝 摘要（中文）
本文提出了一种新的范式，通过注入不断演化的空间上下文，使视觉-语言模型(VLM)能够生成、理解和编辑复杂的3D环境。该上下文由多模态输入构建，包含三个组成部分：提供高级语义蓝图的场景画像、捕获对象级几何信息的语义标注点云，以及编码丰富空间关系（包括一元、二元和高阶约束）的场景超图。这些组件共同为VLM提供了一个结构化的、几何感知的“工作记忆”，将VLM固有的多模态推理能力与结构化的3D理解相结合，从而实现有效的空间推理。在此基础上，开发了一个agentic 3D场景生成流程，VLM迭代地读取和更新空间上下文。该流程具有高质量的资产生成与几何恢复、自动验证的环境设置以及由场景超图引导的人体工学调整。实验表明，该框架可以处理各种具有挑战性的输入，达到先前工作中未观察到的泛化水平。进一步的结果表明，注入空间上下文使VLM能够执行交互式场景编辑和路径规划等下游任务，表明其在计算机图形学、3D视觉和具身应用中具有强大的空间智能系统潜力。
🔬 方法详解
问题定义：现有视觉-语言模型（VLM）在生成和理解复杂的3D场景时面临挑战，尤其是在处理空间关系和几何约束方面。这限制了它们在具身智能、沉浸式模拟和交互式3D应用等领域的应用。现有方法通常缺乏对场景空间结构的有效建模，导致生成结果不连贯或不符合物理规律。
核心思路：论文的核心思路是通过构建一个包含丰富空间信息的上下文，来增强VLM对3D场景的理解和生成能力。这个空间上下文充当VLM的“工作记忆”，使其能够迭代地读取、更新和推理场景中的空间关系。通过将VLM与结构化的3D表示相结合，可以克服VLM在空间推理方面的局限性。
技术框架：该框架包含以下主要模块：1) 空间上下文构建：从多模态输入（例如文本描述、图像）构建场景画像、语义标注点云和场景超图。场景画像提供高层语义信息，点云捕获对象级几何信息，超图编码对象之间的空间关系。2) Agentic 3D场景生成：VLM作为一个智能体，迭代地读取和更新空间上下文。它根据上下文生成新的3D资产，并调整现有资产的位置和姿态。3) 自动验证与调整：该模块自动验证生成结果的合理性，并根据场景超图中的约束进行调整，例如人体工学约束。
关键创新：该方法最重要的创新点在于引入了空间上下文的概念，并将其与VLM相结合。空间上下文提供了一种结构化的、几何感知的场景表示，使VLM能够进行有效的空间推理。此外，agentic生成流程允许VLM迭代地改进场景，从而生成更复杂和连贯的3D环境。
关键设计：场景超图是关键的设计之一，它使用节点表示场景中的对象，使用边表示对象之间的空间关系（例如，支撑、相邻、包含）。超图可以编码一元、二元和高阶约束，从而实现更丰富的空间推理。此外，几何恢复模块用于修复生成资产的几何缺陷，确保场景的视觉质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架能够处理各种具有挑战性的输入，并在场景生成质量、空间关系推理和下游任务性能方面优于现有方法。例如，该框架能够根据文本描述生成逼真的室内场景，并自动调整家具的摆放位置，使其符合人体工学约束。此外，该框架还能够执行交互式场景编辑和路径规划等任务，表明其具有强大的空间智能能力。
🎯 应用场景
该研究成果可应用于虚拟现实、增强现实、游戏开发、机器人导航、室内设计等领域。通过自动生成和编辑3D场景，可以降低内容创作成本，提高用户体验。此外，该技术还可以用于训练机器人，使其能够在复杂的3D环境中进行导航和交互，具有广阔的应用前景。
📄 摘要（原文）
Despite recent advances in multimodal content generation enabled by vision-language models (VLMs), their ability to reason about and generate structured 3D scenes remains largely underexplored. This limitation constrains their utility in spatially grounded tasks such as embodied AI, immersive simulations, and interactive 3D applications. We introduce a new paradigm that enables VLMs to generate, understand, and edit complex 3D environments by injecting a continually evolving spatial context. Constructed from multimodal input, this context consists of three components: a scene portrait that provides a high-level semantic blueprint, a semantically labeled point cloud capturing object-level geometry, and a scene hypergraph that encodes rich spatial relationships, including unary, binary, and higher-order constraints. Together, these components provide the VLM with a structured, geometry-aware working memory that integrates its inherent multimodal reasoning capabilities with structured 3D understanding for effective spatial reasoning. Building on this foundation, we develop an agentic 3D scene generation pipeline in which the VLM iteratively reads from and updates the spatial context. The pipeline features high-quality asset generation with geometric restoration, environment setup with automatic verification, and ergonomic adjustment guided by the scene hypergraph. Experiments show that our framework can handle diverse and challenging inputs, achieving a level of generalization not observed in prior work. Further results demonstrate that injecting spatial context enables VLMs to perform downstream tasks such as interactive scene editing and path planning, suggesting strong potential for spatially intelligent systems in computer graphics, 3D vision, and embodied applications. Project page: https://spatctxvlm.github.io/project_page/.