Do Persona-Infused LLMs Affect Performance in a Strategic Reasoning Game?
作者: John Licato, Stephen Steinle, Brayden Hollis
分类: cs.AI
发布日期: 2025-12-07
备注: Accepted at IJCNLP-AACL 2025
💡 一句话要点
研究人格化LLM在战略推理游戏中的表现，发现特定人格能提升决策能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人格化LLM 战略推理 启发式策略 探索性因素分析 决策制定
📋 核心要点
- 现有研究缺乏对人格化LLM在复杂战略环境中决策影响的量化分析。
- 提出一种基于探索性因素分析的结构化中介方法，将人格特征转化为可用的启发式策略。
- 实验表明，特定人格通过中介方法能有效提升LLM在PERIL游戏中的战略表现。
📝 摘要（中文）
尽管大型语言模型（LLM）中的人格提示似乎能触发不同风格的文本生成，但尚不清楚这些差异是否能转化为可衡量的行为差异，更不用说影响对抗性战略环境中的决策。本文研究了人格提示对PERIL（一款世界统治棋盘游戏）中战略表现的影响。具体而言，我们将人格衍生的启发式策略与手动选择的策略进行了比较。研究结果表明，某些与战略思维相关的人格可以提高游戏表现，但前提是使用中介将人格转化为启发式值。我们引入了一种受探索性因素分析启发的结构化翻译过程作为中介，将LLM生成的库存响应映射到启发式。结果表明，与直接推断的启发式相比，我们的方法增强了启发式的可靠性和表面有效性，从而使我们能够更好地研究人格类型对决策的影响。这些见解加深了我们对人格提示如何影响基于LLM的决策的理解，并提出了一种将心理测量学原理应用于LLM的启发式生成方法。
🔬 方法详解
问题定义：论文旨在解决人格化提示对大型语言模型在战略决策游戏中表现的影响问题。现有方法主要依赖于直接推断启发式，缺乏可靠性和有效性，难以准确评估人格类型对决策的影响。
核心思路：论文的核心思路是引入一个中介（mediator），将LLM生成的人格化库存响应转化为启发式值。这个中介基于探索性因素分析，旨在提取人格特征中的潜在结构，并将其映射到游戏中的决策策略。通过这种方式，可以更可靠地将人格特征与战略决策联系起来。
技术框架：整体框架包含以下几个主要阶段：1) 使用人格提示的LLM生成库存响应；2) 使用探索性因素分析对库存响应进行降维和结构化；3) 将提取的因素映射为启发式值，用于PERIL游戏中的决策；4) 评估不同人格和启发式策略在游戏中的表现。
关键创新：关键创新在于引入了基于探索性因素分析的中介，用于将人格特征转化为启发式值。这种方法提高了启发式的可靠性和表面有效性，使得研究人格类型对决策的影响更加准确。与直接使用LLM生成启发式相比，该方法提供了一种更结构化和可解释的途径。
关键设计：中介的关键设计包括：1) 使用特定的人格提示LLM，例如“战略家”或“外交家”；2) 通过探索性因素分析提取人格特征的潜在因素；3) 将这些因素映射到PERIL游戏中的启发式值，例如攻击倾向、防御倾向等；4) 使用合适的评估指标，例如游戏胜率，来评估不同人格和启发式策略的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，某些与战略思维相关的人格（例如“战略家”）通过中介方法可以显著提高LLM在PERIL游戏中的表现。与直接推断的启发式相比，基于探索性因素分析的中介方法增强了启发式的可靠性和表面有效性，从而能够更准确地评估人格类型对决策的影响。具体性能提升数据未知。
🎯 应用场景
该研究成果可应用于开发更智能、更具适应性的AI代理，尤其是在需要战略规划和决策的领域，如游戏、军事模拟、商业谈判等。通过理解人格特征对决策的影响，可以设计出更有效的人机协作系统，提升决策质量和效率。此外，该方法也为研究LLM的认知过程和行为模式提供了新的视角。
📄 摘要（原文）
Although persona prompting in large language models appears to trigger different styles of generated text, it is unclear whether these translate into measurable behavioral differences, much less whether they affect decision-making in an adversarial strategic environment that we provide as open-source. We investigate the impact of persona prompting on strategic performance in PERIL, a world-domination board game. Specifically, we compare the effectiveness of persona-derived heuristic strategies to those chosen manually. Our findings reveal that certain personas associated with strategic thinking improve game performance, but only when a mediator is used to translate personas into heuristic values. We introduce this mediator as a structured translation process, inspired by exploratory factor analysis, that maps LLM-generated inventory responses into heuristics. Results indicate our method enhances heuristic reliability and face validity compared to directly inferred heuristics, allowing us to better study the effect of persona types on decision making. These insights advance our understanding of how persona prompting influences LLM-based decision-making and propose a heuristic generation method that applies psychometric principles to LLMs.