Real-Time World Crafting: Generating Structured Game Behaviors from Natural Language with Large Language Models

📄 arXiv: 2510.16952v1 📥 PDF

作者: Austin Drake, Hang Dong

分类: cs.HC, cs.CL

发布日期: 2025-10-19

备注: 16 pages, 11 figures (including appendix). To be presented at the 5th Wordplay @ EMNLP workshop (2025)

💡 一句话要点

提出一种基于LLM的实时游戏世界构建框架，通过自然语言生成结构化游戏行为。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 游戏AI 自然语言处理 领域特定语言 实体组件系统

📋 核心要点

  1. 现有游戏AI开发复杂，玩家难以直接参与游戏逻辑的创造，缺乏互动性和个性化。
  2. 利用LLM将自然语言指令转化为游戏引擎可执行的DSL，进而配置ECS，实现玩家自定义游戏行为。
  3. 实验表明，不同LLM和提示策略对游戏行为生成效果有显著影响，为开发者选择模型和优化提示提供参考。

📝 摘要（中文）

本文提出了一种新颖的架构，用于将大型语言模型（LLM）安全地集成到交互式游戏引擎中，允许玩家使用自然语言“编程”新的游戏行为。该框架通过使用LLM将命令转换为受约束的领域特定语言（DSL）来降低风险，该DSL在运行时配置自定义的实体-组件-系统（ECS）。我们在一个2D法术制作游戏原型中评估了该系统，通过实验评估了来自Gemini、GPT和Claude系列的各种模型以及不同的提示策略。经过验证的LLM评估器对输出进行了定性评估，结果表明，虽然较大的模型更好地捕捉了创造意图，但最佳的提示策略取决于任务：思维链提高了创造性对齐，而少量样本示例对于生成更复杂的DSL脚本是必要的。这项工作为涌现式游戏玩法提供了一种经过验证的LLM-ECS模式，并为开发者提供了量化的性能比较。

🔬 方法详解

问题定义：论文旨在解决如何让玩家能够使用自然语言实时地创造和修改游戏世界中的行为。现有方法通常需要专业的游戏开发知识和编程技能，限制了玩家的创造性和参与度。此外，直接将LLM应用于游戏逻辑可能存在安全风险和不可预测性。

核心思路：论文的核心思路是利用LLM作为自然语言到游戏逻辑的桥梁，将玩家的自然语言指令转化为游戏引擎能够理解和执行的领域特定语言（DSL）。通过DSL，可以安全地配置实体-组件-系统（ECS），从而实现游戏行为的自定义和扩展。这种方法既降低了玩家的编程门槛，又保证了游戏逻辑的可控性和安全性。

技术框架：该框架包含以下主要模块：1) 自然语言输入模块：接收玩家输入的自然语言指令。2) LLM翻译模块：使用LLM将自然语言指令翻译成DSL脚本。3) DSL解析器：解析DSL脚本，并将其转化为ECS配置。4) ECS执行器：根据ECS配置，在游戏引擎中创建和更新实体、组件和系统，从而实现游戏行为。整个流程是实时的，允许玩家即时看到他们所创造的行为在游戏中的效果。

关键创新：该论文的关键创新在于提出了一种基于LLM和DSL的实时游戏世界构建框架。与直接使用LLM控制游戏逻辑相比，该框架通过DSL限制了LLM的输出空间，从而提高了安全性和可控性。此外，该框架采用ECS架构，使得游戏行为的创建和修改更加模块化和灵活。

关键设计：论文中关键的设计包括：1) DSL的设计：DSL需要足够表达能力，能够描述各种游戏行为，同时又要足够简单，易于LLM生成和解析。2) LLM的提示策略：不同的提示策略（如思维链、少量样本示例）会影响LLM的输出质量和创造性。3) ECS的配置：ECS的组件和系统需要根据游戏的需求进行设计，以支持各种游戏行为的创建和修改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，较大的LLM模型（如Gemini）在捕捉创造意图方面表现更好。思维链提示策略提高了创造性对齐，而少量样本示例对于生成更复杂的DSL脚本是必要的。该研究为开发者选择合适的LLM模型和提示策略提供了量化的性能比较。

🎯 应用场景

该研究成果可应用于各种交互式游戏和虚拟现实环境中，例如沙盒游戏、角色扮演游戏和教育游戏。玩家可以使用自然语言创造和定制游戏世界，从而提高游戏的趣味性和可玩性。此外，该技术还可以用于游戏AI的快速原型设计和自动化生成，降低游戏开发的成本和周期。未来，该技术有望应用于更广泛的领域，例如虚拟助手、智能家居和机器人控制。

📄 摘要（原文）

We present a novel architecture for safely integrating Large Language Models (LLMs) into interactive game engines, allowing players to "program" new behaviors using natural language. Our framework mitigates risks by using an LLM to translate commands into a constrained Domain-Specific Language (DSL), which configures a custom Entity-Component-System (ECS) at runtime. We evaluated this system in a 2D spell-crafting game prototype by experimentally assessing models from the Gemini, GPT, and Claude families with various prompting strategies. A validated LLM judge qualitatively rated the outputs, showing that while larger models better captured creative intent, the optimal prompting strategy is task-dependent: Chain-of-Thought improved creative alignment, while few-shot examples were necessary to generate more complex DSL scripts. This work offers a validated LLM-ECS pattern for emergent gameplay and a quantitative performance comparison for developers.