Malinowski in the Age of AI: Can large language models create a text game based on an anthropological classic?
作者: Michael Peter Hoffmann, Jan Fillies, Adrian Paschke
分类: cs.HC, cs.AI, cs.CY
发布日期: 2024-10-27
备注: Accepted at KUI 2024
💡 一句话要点
利用大型语言模型创建基于人类学经典文本冒险游戏，探索其知识传递能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 文本冒险游戏 人类学 知识传递 设计思维
📋 核心要点
- 现有方法难以利用大型语言模型将人类学知识转化为互动式学习体验，缺乏有效评估LLM知识传递能力的手段。
- 本研究通过设计思维方法，迭代优化提示和概念框架，指导LLM生成基于人类学经典著作的文本冒险游戏。
- 通过人类学家进行游戏测试，评估LLM在知识深度、信息准确性和交互丰富性方面的表现，并揭示了其局限性。
📝 摘要（中文）
本研究旨在探索大型语言模型（LLMs），如ChatGPT和GPT-4，是否能够自主创建基于人类学经典著作的文本冒险游戏，并评估其知识传递的有效性。研究通过与人类学家讨论，收集他们对人类学主题游戏的期望和设计输入。通过遵循“设计思维”的人机交互原则的迭代过程，不断完善提示和游戏创作的概念框架。利用GPT3.5，围绕社会人类学家布罗尼斯拉夫·马林诺夫斯基的代表作《西太平洋的航海者》（1922）创建了三个游戏原型。随后，邀请资深人类学家进行游戏测试，并根据他们的反馈改进游戏设计。测试结果显示出希望，但也突出了关键挑战：模型在提供深入的主题理解方面存在困难，容易受到错误信息的影响，长时间游戏后倾向于单调的响应，并且难以提供详细的传记信息。尽管存在这些局限性，该研究的发现为人工智能、机器学习、LLMs、民族志、人类学和人机交互的交叉领域开辟了新的研究方向。
🔬 方法详解
问题定义：本研究旨在探索大型语言模型（LLMs）在自主创建基于人类学经典著作的文本冒险游戏方面的能力，并评估其知识传递的有效性。现有方法缺乏有效利用LLM将复杂的人类学知识转化为引人入胜的互动式学习体验的手段。此外，如何评估LLM在知识深度、准确性和交互性方面的表现也是一个挑战。
核心思路：本研究的核心思路是利用LLM的文本生成能力，结合人类学家的专业知识和设计思维方法，迭代优化游戏设计。通过将人类学经典著作转化为游戏场景和情节，旨在创造一种沉浸式的学习体验，并评估LLM在知识传递方面的潜力。这种设计思路旨在弥合人工智能和人文科学之间的差距，探索LLM在教育和知识传播方面的应用。
技术框架：整体框架包括以下几个主要阶段：1) 与人类学家进行访谈，收集他们对人类学主题游戏的期望和设计输入。2) 遵循“设计思维”的人机交互原则，迭代优化提示和游戏创作的概念框架。3) 利用GPT3.5，根据优化后的提示和框架，围绕马林诺夫斯基的《西太平洋的航海者》创建三个游戏原型。4) 邀请资深人类学家进行游戏测试，收集反馈并改进游戏设计。
关键创新：本研究的关键创新在于探索了LLM在自主创建基于人类学经典著作的文本冒险游戏方面的能力，并提出了一种结合人类学专业知识和设计思维方法的迭代优化流程。与现有方法相比，本研究更加注重利用LLM的生成能力，创造一种沉浸式的学习体验，并评估其在知识传递方面的潜力。
关键设计：关键设计包括：1) 精心设计的提示，引导LLM生成符合人类学主题的游戏内容。2) 基于“设计思维”的迭代优化流程，不断改进游戏设计。3) 人类学家的参与，确保游戏内容的准确性和深度。4) 游戏测试环节，收集用户反馈并改进游戏设计。具体的参数设置和网络结构取决于GPT3.5的内部实现，研究重点在于提示工程和迭代优化流程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM在创建基于人类学经典著作的文本冒险游戏方面具有潜力，但同时也存在一些局限性。例如，模型在提供深入的主题理解、避免错误信息和保持交互丰富性方面存在挑战。尽管如此，人类学家对游戏原型给予了积极评价，认为其具有一定的教育价值和娱乐性。未来的研究可以进一步探索如何克服这些局限性，提高LLM在知识传递方面的能力。
🎯 应用场景
该研究成果可应用于教育领域，例如创建基于历史、文学或其他学科经典著作的互动式学习游戏。此外，该方法还可以用于文化遗产保护和推广，通过游戏化的方式吸引更多人了解和参与。未来，该研究有望推动人工智能在人文社科领域的应用，促进跨学科的知识传播和创新。
📄 摘要（原文）
Recent advancements in Large Language Models (LLMs) like ChatGPT and GPT-4 have shown remarkable abilities in a wide range of tasks such as summarizing texts and assisting in coding. Scientific research has demonstrated that these models can also play text-adventure games. This study aims to explore whether LLMs can autonomously create text-based games based on anthropological classics, evaluating also their effectiveness in communicating knowledge. To achieve this, the study engaged anthropologists in discussions to gather their expectations and design inputs for an anthropologically themed game. Through iterative processes following the established HCI principle of 'design thinking', the prompts and the conceptual framework for crafting these games were refined. Leveraging GPT3.5, the study created three prototypes of games centered around the seminal anthropological work of the social anthropologist's Bronislaw Malinowski's "Argonauts of the Western Pacific" (1922). Subsequently, evaluations were conducted by inviting senior anthropologists to playtest these games, and based on their inputs, the game designs were refined. The tests revealed promising outcomes but also highlighted key challenges: the models encountered difficulties in providing in-depth thematic understandings, showed suspectibility to misinformation, tended towards monotonic responses after an extended period of play, and struggled to offer detailed biographical information. Despite these limitations, the study's findings open up new research avenues at the crossroads of artificial intelligence, machine learning, LLMs, ethnography, anthropology and human-computer interaction.