MAGIC: Transition-Aware Generation of Navigable Multi-Scene Game Worlds with Large Language Models

📄 arXiv: 2607.11594v1 📥 PDF

作者: Tsz Hei Fan, Choi Wing Fung, Yuxuan Wan, Shuqing Li, Michael R. Lyu

分类: cs.AI, cs.GR

发布日期: 2026-07-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出MAGIC以解决多场景导航生成中的一致性与可达性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多场景生成 大型语言模型 游戏开发 自动化设计 过渡评估

📋 核心要点

  1. 现有的单场景生成方法无法有效处理多场景之间的一致性和可导航性问题。
  2. MAGIC通过四阶段流程将自然语言提示转化为多场景游戏项目，确保场景间的过渡可达性。
  3. 在100个多场景案例的实验中，MAGIC的性能显著优于现有基线，展示了更高的导航性和准确性。

📝 摘要（中文）

多场景导航是现代3D游戏的重要特征，但其创作过程繁琐，需确保每个传送门两侧的一致性和内部可导航性。现有的大型语言模型（LLM）和多模态LLM（MLLM）场景生成器虽然能有效生成单一场景，但无法通过简单重复生成连接的多场景世界。为此，本文提出MAGIC，一个基于提示的项目生成系统，解决了跨场景一致性、场景内可导航性及过渡评估等问题。MAGIC通过四个阶段将自然语言提示转化为可运行的多场景游戏项目，实验结果显示其在100个多场景案例中均能生成可执行项目，精度达到0.99，召回率为0.95，F1值为0.96。

🔬 方法详解

问题定义：本文旨在解决多场景导航生成中的一致性、可导航性及过渡评估等问题。现有方法在生成单一场景时无法保证跨场景的连贯性，导致生成的多场景世界缺乏整体性和可玩性。

核心思路：MAGIC通过设计一个四阶段的生成流程，从自然语言提示出发，生成一个可运行的多场景游戏项目，确保场景间的过渡和连接性。该方法通过引入过渡感知的中间表示，解决了现有方法的局限性。

技术框架：MAGIC的整体架构包括四个主要阶段：1) 规划共享的过渡感知中间表示；2) 指定每个场景并使用洪水填充验证器确保传送门的可达性；3) 生成场景及其过渡脚本；4) 将所有场景整合为一个项目。

关键创新：MAGIC的主要创新在于引入了过渡聚焦的评估代理，能够在实际游戏中执行每个过渡，确保生成的场景在实际操作中是可行的。这一方法与传统的单场景生成方法本质上不同，后者通常不考虑场景间的动态交互。

关键设计：在设计中，MAGIC使用了特定的参数设置和验证机制，以确保生成的场景不仅在视觉上连贯，而且在功能上可导航。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MAGIC在100个多场景案例中成功生成了可执行项目，精度达到0.99，召回率为0.95，F1值为0.96，显著优于现有的LLM基线和Holodeck，展示了更高的导航性和场景一致性。

🎯 应用场景

MAGIC的研究成果在游戏开发、虚拟现实和增强现实等领域具有广泛的应用潜力。通过自动化生成多场景游戏世界，开发者可以显著降低创作成本，提高开发效率。此外，该技术还可用于教育和培训模拟环境的构建，提升用户体验。

📄 摘要（原文）

Multi-scene navigation (clearing an objective in one bounded space and then crossing a portal into the next) is a defining feature of contemporary 3D games, but authoring it is laborious: every portal must have consistent endpoints on both sides, each interior must remain navigable once it is furnished, and the resulting connectivity must be kept consistent across many files. Recent large language model (LLM) and multimodal LLM (MLLM) scene generators have made single-interior synthesis dramatically cheaper, yet they produce one scene at a time and cannot, by naive repetition, yield a connected multi-scene world. We identify three obstacles that single-scene methods leave unsolved: cross-scene consistency, in-scene navigability, and the evaluation of whether a transition actually works. We present MAGIC, a prompt-to-project system that addresses all three. MAGIC is a four-stage pipeline that turns a single natural-language prompt into a runnable multi-scene game project: it plans a shared transition-aware intermediate representation, specifies each scene while enforcing portal reachability with a flood-fill validator, generates the scenes together with their transition scripts, and combines them into one project. Because existing single-scene fidelity metrics never execute a transition, we further introduce a transition-focused evaluation agent that runs each transition in play. On a new benchmark of 100 multi-scene cases, MAGIC produces an executable project for every case and reaches 0.99 precision, 0.95 recall, and 0.96 F1 on end-to-end transition identification; stage by stage, it recovers more ground-truth portals and yields markedly more navigable layouts than an LLM baseline and Holodeck. Our code is available at https://github.com/sereneee1201/MAGIC/.