Collaborative Quest Completion with LLM-driven Non-Player Characters in Minecraft

📄 arXiv: 2407.03460v1 📥 PDF

作者: Sudha Rao, Weijia Xu, Michael Xu, Jorge Leandro, Ken Lobb, Gabriel DesGarennes, Chris Brockett, Bill Dolan

分类: cs.CL, cs.AI

发布日期: 2024-07-03

备注: Accepted at Wordplay workshop at ACL 2024

期刊: ACL 2024

💡 一句话要点

利用LLM驱动的Minecraft NPC实现协作任务完成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 非玩家角色 人机协作 Minecraft 游戏AI

📋 核心要点

  1. 现有游戏AI在复杂协作任务中表现不足，缺乏自然语言交互能力。
  2. 利用GPT4驱动的NPC，构建Minecraft协作任务环境，探索人机协作模式。
  3. 用户研究揭示了人机协作行为模式，并指出了当前语言模型的局限性。

📝 摘要（中文）

本文探讨了人类玩家如何与大型语言模型（LLM）驱动的非玩家角色（NPC）协作完成游戏内目标。研究人员在Minecraft中设计了一个迷你游戏，玩家与两个GPT4驱动的NPC合作完成任务。通过对28名Minecraft玩家的用户研究，分析游戏日志和录像，发现了NPC和人类玩家之间涌现的几种协作行为模式。同时，报告了仅使用语言模型的局限性，即缺乏丰富的游戏状态或视觉理解。这项初步研究和分析旨在为未来的游戏开发者提供信息，指导他们如何更好地利用这些快速改进的生成式AI模型在游戏中扮演协作角色。

🔬 方法详解

问题定义：现有游戏中的NPC通常采用预设脚本或有限状态机，难以进行复杂的协作和自然语言交互。这限制了游戏体验的深度和玩家的自由度。论文旨在探索如何利用大型语言模型（LLM）驱动的NPC，实现更自然、更智能的人机协作，从而提升游戏体验。现有方法的痛点在于NPC的智能程度和交互能力不足，无法满足玩家对沉浸式游戏体验的需求。

核心思路：论文的核心思路是利用GPT4强大的语言理解和生成能力，赋予NPC更智能的行为和更自然的对话能力。通过让NPC理解游戏目标、感知游戏环境，并与玩家进行自然语言交流，实现人机协作完成任务。这种方法的核心在于将LLM作为NPC的“大脑”，使其能够根据游戏状态和玩家指令做出相应的反应。

技术框架：该研究的技术框架主要包括以下几个部分：1) Minecraft游戏环境的搭建，包括任务设计和NPC的创建；2) GPT4模型的集成，用于驱动NPC的行为和对话；3) 人机交互接口的设计，允许玩家与NPC进行自然语言交流；4) 数据收集和分析，用于评估人机协作的效果和发现潜在问题。整体流程是玩家进入Minecraft游戏环境，与GPT4驱动的NPC合作完成预设的任务，研究人员记录游戏过程中的交互数据，并对数据进行分析。

关键创新：该研究的关键创新在于将大型语言模型（GPT4）应用于游戏NPC的驱动，实现了更智能、更自然的NPC行为和对话。与传统的基于脚本或有限状态机的NPC相比，GPT4驱动的NPC能够更好地理解玩家的指令，并根据游戏环境做出更合理的反应。这种方法为游戏AI的发展提供了一种新的思路，有望提升游戏的沉浸感和可玩性。

关键设计：在关键设计方面，研究人员需要设计合适的提示词（prompt）来引导GPT4模型的行为，使其能够理解游戏目标、感知游戏环境，并与玩家进行有效的交流。此外，还需要设计合适的人机交互接口，方便玩家与NPC进行自然语言交流。具体的参数设置、损失函数、网络结构等技术细节在论文中未详细说明，属于GPT4模型本身的范畴。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该研究通过用户研究发现，GPT4驱动的NPC能够与人类玩家进行有效的协作，完成Minecraft中的任务。研究人员观察到NPC和玩家之间涌现出多种协作行为模式，例如任务分工、信息共享和互相帮助。然而，研究也指出了当前语言模型的局限性，例如缺乏对游戏状态和视觉信息的理解，这为未来的研究提供了方向。

🎯 应用场景

该研究成果可应用于各种类型的游戏中，提升NPC的智能水平和交互能力，增强游戏的沉浸感和可玩性。此外，该研究思路还可以扩展到其他人机协作领域，例如虚拟助手、智能客服等，实现更自然、更高效的人机交互。未来，随着LLM技术的不断发展，LLM驱动的NPC有望成为游戏AI的主流发展方向。

📄 摘要（原文）

The use of generative AI in video game development is on the rise, and as the conversational and other capabilities of large language models continue to improve, we expect LLM-driven non-player characters (NPCs) to become widely deployed. In this paper, we seek to understand how human players collaborate with LLM-driven NPCs to accomplish in-game goals. We design a minigame within Minecraft where a player works with two GPT4-driven NPCs to complete a quest. We perform a user study in which 28 Minecraft players play this minigame and share their feedback. On analyzing the game logs and recordings, we find that several patterns of collaborative behavior emerge from the NPCs and the human players. We also report on the current limitations of language-only models that do not have rich game-state or visual understanding. We believe that this preliminary study and analysis will inform future game developers on how to better exploit these rapidly improving generative AI models for collaborative roles in games.