Collaborative Storytelling and LLM: A Linguistic Analysis of Automatically-Generated Role-Playing Game Sessions

📄 arXiv: 2503.20623v1 📥 PDF

作者: Alessandro Maisto

分类: cs.CL, cs.AI

发布日期: 2025-03-26

备注: 17 pages

💡 一句话要点

通过语言学分析，揭示LLM在自动生成角色扮演游戏会话中的独特语言模式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 角色扮演游戏 语言学分析 自动生成 叙事能力

📋 核心要点

  1. 现有研究缺乏对LLM在自动生成RPG会话中语言特征的深入分析，难以评估其叙事能力。
  2. 该研究通过对LLM生成的RPG会话文本进行语言学分析，探究其语言特征与口语、书面语及人类RPG会话的差异。
  3. 研究发现LLM的语言模式与现有文本类别不同，揭示了训练数据对LLM叙事表达的影响。

📝 摘要（中文）

角色扮演游戏(RPG)是一种玩家通过互动创造叙事的互动游戏。玩家在RPG中的角色主要基于玩家与其角色之间的互动。这种新兴的共享叙事形式，主要是口头的，正受到越来越多的关注。特别是，许多作者研究了使用LLM作为游戏中参与者的方法。本文旨在探究当要求大型语言模型(LLM)在没有人为干预的情况下生成RPG会话时，其语言在多大程度上表现出口头或书面特征。我们将对生成文本的词汇和句法特征进行语言学分析，并将结果与对话、人类RPG会话的记录和书籍的分析进行比较。我们发现，LLM表现出一种不同于所有其他文本类别的模式，包括口头对话、人类RPG会话和书籍。我们的分析表明，训练如何影响LLM的表达方式，并为这些工具的叙事能力提供了重要的指示。

🔬 方法详解

问题定义：该论文旨在研究大型语言模型（LLM）在自动生成角色扮演游戏（RPG）会话时所表现出的语言特征。现有方法缺乏对LLM生成文本的口语化和书面化特征的细致分析，无法准确评估LLM在叙事方面的能力。现有研究难以区分LLM生成的文本与真实人类对话、书面文本以及人类RPG会话的差异。

核心思路：论文的核心思路是通过对LLM生成的RPG会话文本进行语言学分析，提取其词汇和句法特征，并将其与口语对话、书面文本（书籍）以及人类RPG会话的文本进行对比。通过这种对比分析，揭示LLM在生成RPG会话时所表现出的独特语言模式，从而评估其叙事能力。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 使用LLM自动生成RPG会话文本；2) 对生成的文本进行词汇和句法特征的提取；3) 收集口语对话、书面文本和人类RPG会话的文本数据；4) 对比分析LLM生成文本与这些文本数据的语言特征差异；5) 根据分析结果，评估LLM在生成RPG会话时的叙事能力。

关键创新：该研究的关键创新在于首次对LLM自动生成的RPG会话文本进行了深入的语言学分析，并将其与多种类型的文本进行了对比。这种分析方法能够更准确地揭示LLM在叙事方面的优势和不足，为未来的研究提供了新的视角。

关键设计：论文中使用的语言学分析方法包括词汇多样性分析、句法复杂度分析等。具体的参数设置和模型结构未知，因为论文主要关注语言学分析而非LLM本身的设计。研究中对比的文本数据包括口语对话的转录、书籍的文本以及人类RPG会话的记录。具体的对比指标包括词汇的频率分布、句子的平均长度、从句的使用频率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLM生成的RPG会话文本的语言模式与口语对话、书面文本以及人类RPG会话均存在显著差异。这表明LLM在生成文本时受到训练数据的影响，形成了独特的语言风格。具体的性能数据和提升幅度未知，因为研究重点在于语言特征的分析而非性能指标的优化。

🎯 应用场景

该研究成果可应用于提升LLM在游戏、故事创作等领域的应用效果。通过了解LLM的语言特征，可以更好地引导LLM生成更自然、更符合人类习惯的文本，从而增强用户体验。此外，该研究还可以为LLM的训练提供指导，使其更好地适应特定领域的叙事需求。

📄 摘要（原文）

Role-playing games (RPG) are games in which players interact with one another to create narratives. The role of players in the RPG is largely based on the interaction between players and their characters. This emerging form of shared narrative, primarily oral, is receiving increasing attention. In particular, many authors investigated the use of an LLM as an actor in the game. In this paper, we aim to discover to what extent the language of Large Language Models (LLMs) exhibit oral or written features when asked to generate an RPG session without human interference. We will conduct a linguistic analysis of the lexical and syntactic features of the generated texts and compare the results with analyses of conversations, transcripts of human RPG sessions, and books. We found that LLMs exhibit a pattern that is distinct from all other text categories, including oral conversations, human RPG sessions and books. Our analysis has shown how training influences the way LLMs express themselves and provides important indications of the narrative capabilities of these tools.