Agentic 3D Scene Generation with Spatially Contextualized VLMs

📄 arXiv: 2505.20129v3 📥 PDF

作者: Xinhang Liu, Yu-Wing Tai, Chi-Keung Tang

分类: cs.CV, cs.GR

发布日期: 2025-05-26 (更新: 2025-07-04)

备注: Project page: https://spatctxvlm.github.io/project_page/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出一种新范式以解决VLM在3D场景生成中的局限性

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 3D场景生成 空间上下文 多模态输入 具身AI 沉浸式应用

📋 核心要点

  1. 现有的视觉语言模型在生成和推理复杂3D场景方面存在显著不足，限制了其在实际应用中的有效性。
  2. 本文提出了一种新范式，通过注入动态空间上下文，赋予VLM生成和理解复杂3D环境的能力。
  3. 实验结果显示，该框架在处理多样输入时表现出优越的泛化能力，支持交互式场景编辑和路径规划等下游任务。

📝 摘要（中文）

尽管近年来多模态内容生成取得了进展，但视觉语言模型（VLM）在推理和生成结构化3D场景方面的能力仍然未得到充分探索。这一局限性限制了其在具身AI、沉浸式模拟和交互式3D应用等空间基础任务中的实用性。本文提出了一种新范式，使VLM能够通过注入不断演变的空间上下文来生成、理解和编辑复杂的3D环境。该上下文由多模态输入构成，包含场景肖像、语义标注的点云和场景超图等三个组件。这些组件为VLM提供了结构化的、几何感知的工作记忆，结合了其固有的多模态推理能力和结构化的3D理解，从而实现有效的空间推理。实验表明，该框架能够处理多样且具有挑战性的输入，展现出前所未有的泛化能力。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在生成和推理结构化3D场景方面的局限性，现有方法未能有效处理空间上下文信息，导致在具身AI等任务中的应用受限。

核心思路：通过构建一个动态演变的空间上下文，包含场景肖像、语义标注的点云和场景超图，增强VLM的空间推理能力，使其能够更好地理解和生成3D环境。

技术框架：整体架构包括三个主要模块：场景肖像提供高层语义蓝图，语义标注的点云捕捉对象级几何信息，场景超图编码丰富的空间关系。VLM在生成过程中不断读取和更新这些上下文信息。

关键创新：最重要的创新在于引入了空间上下文的动态更新机制，使得VLM能够在生成过程中实时调整和优化3D场景，显著提升了生成质量和推理能力。

关键设计：在技术细节上，采用了特定的损失函数来优化生成质量，并设计了适应性强的网络结构，以支持多模态输入和复杂的空间关系建模。整体框架的设计确保了高效的几何恢复和环境设置。

📊 实验亮点

实验结果表明，本文提出的框架在处理多样化和复杂输入时展现出优越的性能，尤其是在交互式场景编辑和路径规划任务中，泛化能力显著提升，超越了现有基线方法。

🎯 应用场景

该研究的潜在应用领域包括计算机图形学、3D视觉和具身应用等。通过提升VLM在3D场景生成和理解方面的能力，可以推动沉浸式虚拟现实、游戏开发和智能机器人等领域的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite recent advances in multimodal content generation enabled by vision-language models (VLMs), their ability to reason about and generate structured 3D scenes remains largely underexplored. This limitation constrains their utility in spatially grounded tasks such as embodied AI, immersive simulations, and interactive 3D applications. We introduce a new paradigm that enables VLMs to generate, understand, and edit complex 3D environments by injecting a continually evolving spatial context. Constructed from multimodal input, this context consists of three components: a scene portrait that provides a high-level semantic blueprint, a semantically labeled point cloud capturing object-level geometry, and a scene hypergraph that encodes rich spatial relationships, including unary, binary, and higher-order constraints. Together, these components provide the VLM with a structured, geometry-aware working memory that integrates its inherent multimodal reasoning capabilities with structured 3D understanding for effective spatial reasoning. Building on this foundation, we develop an agentic 3D scene generation pipeline in which the VLM iteratively reads from and updates the spatial context. The pipeline features high-quality asset generation with geometric restoration, environment setup with automatic verification, and ergonomic adjustment guided by the scene hypergraph. Experiments show that our framework can handle diverse and challenging inputs, achieving a level of generalization not observed in prior work. Further results demonstrate that injecting spatial context enables VLMs to perform downstream tasks such as interactive scene editing and path planning, suggesting strong potential for spatially intelligent systems in computer graphics, 3D vision, and embodied applications. Project page: https://spatctxvlm.github.io/project_page/.