3D Building Generation in Minecraft via Large Language Models

📄 arXiv: 2406.08751v1 📥 PDF

作者: Shiying Hu, Zengrong Huang, Chengpeng Hu, Jialin Liu

分类: cs.AI

发布日期: 2024-06-13

备注: This paper has been accepted by IEEE Conference on Games

💡 一句话要点

提出T2BM模型，利用大语言模型在Minecraft中生成3D建筑

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D建筑生成 大语言模型 Minecraft 程序内容生成 文本到建筑

📋 核心要点

  1. 现有的程序内容生成在2D游戏关卡生成方面取得了显著进展，但LLM在3D环境中的应用仍有挑战。
  2. T2BM模型通过优化提示、解码中间层表示和修复等步骤，实现了从文本到Minecraft建筑的生成。
  3. 实验表明，LLMs有潜力在Minecraft中生成结构完整且满足用户需求的3D建筑。

📝 摘要（中文）

本文探索了大语言模型（LLMs）在沙盒游戏Minecraft中生成3D建筑的能力，旨在进一步验证LLMs的潜力。为此，作者提出了一个名为Text to Building in Minecraft (T2BM)的模型，该模型涉及提示语的优化、中间层表示的解码和修复等步骤。该模型支持生成建筑的立面、室内场景以及诸如门等功能性模块。实验结果表明，LLMs在3D建筑生成方面具有显著潜力。通过适当的提示，LLMs能够在Minecraft中生成结构完整的正确建筑，并能整合诸如窗户和床等特定建筑模块，从而满足人类用户的特定需求。

🔬 方法详解

问题定义：论文旨在解决如何利用大语言模型在Minecraft游戏中自动生成3D建筑的问题。现有方法在3D环境下的应用面临挑战，需要更有效的提示工程和结构化生成方法。

核心思路：核心思路是利用大语言模型理解文本描述，并将其转化为Minecraft中的3D建筑结构。通过优化提示，引导LLM生成更准确、更完整的建筑设计。同时，采用中间层表示来解耦文本描述和最终的建筑结构，提高生成过程的灵活性和可控性。

技术框架：T2BM模型包含以下几个主要阶段：1) 提示优化：设计有效的提示语，引导LLM生成符合要求的建筑描述。2) 中间层表示解码：将LLM生成的建筑描述解码为中间层表示，例如建筑的结构、布局和功能模块。3) 建筑修复：对生成的建筑结构进行修复和优化，确保其完整性和合理性。

关键创新：该论文的关键创新在于提出了一个完整的框架，将大语言模型应用于3D建筑生成任务，并设计了中间层表示来解耦文本描述和建筑结构。这种方法使得生成过程更加灵活和可控，能够生成更符合用户需求的建筑。

关键设计：论文中涉及的关键设计包括：1) 提示语的设计，需要包含建筑的类型、风格、功能等信息。2) 中间层表示的设计，需要能够准确地描述建筑的结构和布局。3) 建筑修复算法的设计，需要能够有效地修复建筑中的错误和不完整之处。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，T2BM模型能够根据文本描述在Minecraft中生成结构完整的3D建筑，并能整合特定的建筑模块，如窗户和床。虽然论文中没有给出具体的性能数据和对比基线，但实验结果表明LLMs在3D建筑生成方面具有显著潜力，能够满足人类用户的特定需求。

🎯 应用场景

该研究成果可应用于游戏开发、虚拟现实、建筑设计等领域。在游戏开发中，可以自动生成游戏场景中的建筑，提高开发效率。在虚拟现实中，可以根据用户的文本描述生成个性化的虚拟环境。在建筑设计中，可以辅助设计师进行方案设计，提供更多的设计灵感。未来，该技术有望应用于城市规划和灾后重建等领域。

📄 摘要（原文）

Recently, procedural content generation has exhibited considerable advancements in the domain of 2D game level generation such as Super Mario Bros. and Sokoban through large language models (LLMs). To further validate the capabilities of LLMs, this paper explores how LLMs contribute to the generation of 3D buildings in a sandbox game, Minecraft. We propose a Text to Building in Minecraft (T2BM) model, which involves refining prompts, decoding interlayer representation and repairing. Facade, indoor scene and functional blocks like doors are supported in the generation. Experiments are conducted to evaluate the completeness and satisfaction of buildings generated via LLMs. It shows that LLMs hold significant potential for 3D building generation. Given appropriate prompts, LLMs can generate correct buildings in Minecraft with complete structures and incorporate specific building blocks such as windows and beds, meeting the specified requirements of human users.