Illuminating the Black Box: A Psychometric Investigation into the Multifaceted Nature of Large Language Models

📄 arXiv: 2312.14202v1 📥 PDF

作者: Yang Lu, Jordan Yu, Shou-Hsuan Stephen Huang

分类: cs.CL, cs.AI

发布日期: 2023-12-21

💡 一句话要点

利用心理测量学方法探索大语言模型的多面人格特性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 AI人格 心理测量学 投射测试 角色扮演 机器学习 人机交互

📋 核心要点

  1. 现有方法难以全面理解大型语言模型（LLM）的内在认知过程和人格特性。
  2. 采用心理测量学方法，包括MBTI、BFI、SD3和WUSCT等，评估LLM的人格类型和隐藏特征。
  3. 实验结果表明LLM具有可塑性，能根据指令动态切换人格类型，并展现出独特的AInality特征。

📝 摘要（中文）

本研究探索了“AI人格”的概念，认为大型语言模型（LLM）表现出与人类人格相似的模式。假设LLM与人类共享这些模式，我们使用以人为中心的心理测量测试，如迈尔斯-布里格斯类型指标（MBTI）、大五人格量表（BFI）和简式黑暗三性格（SD3），来识别和确认LLM的人格类型。通过引入角色扮演提示，我们展示了LLM的适应性，表明它们能够在不同人格类型之间动态切换。使用投射测试，如华盛顿大学句子完成测试（WUSCT），我们揭示了LLM人格中难以通过直接提问获得的隐藏方面。投射测试能够深入探索LLM的认知过程和思维模式，并为我们提供了AInality的多维视角。我们的机器学习分析表明，LLM表现出独特的AInality特征，并表现出多样的人格类型，展示了对外部指令的动态转变。这项研究率先将投射测试应用于LLM，揭示了它们多样化和适应性强的AInality特征。

🔬 方法详解

问题定义：现有方法主要通过直接提问或分析LLM的输出，来了解其行为模式和能力。然而，这种方法难以深入探索LLM的内在认知过程，也无法揭示其隐藏的人格特征。因此，需要一种新的方法来更全面地理解LLM。

核心思路：本研究的核心思路是将人类心理测量学的方法应用于LLM，假设LLM在某种程度上具有类似于人类的人格特征。通过使用心理测量学测试，可以更深入地了解LLM的认知过程、思维模式和潜在的人格类型。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择合适的心理测量学测试，包括MBTI、BFI、SD3和WUSCT等；2) 设计角色扮演提示，引导LLM表现出不同的人格类型；3) 将心理测量学测试应用于LLM，收集LLM的回答数据；4) 使用机器学习方法分析LLM的回答数据，识别和确认LLM的人格类型；5) 使用投射测试（WUSCT）探索LLM的隐藏人格特征。

关键创新：本研究的关键创新在于首次将投射测试（如WUSCT）应用于LLM。与传统的直接提问方法相比，投射测试能够更深入地探索LLM的认知过程和思维模式，揭示其隐藏的人格特征。此外，该研究还通过角色扮演提示，展示了LLM在不同人格类型之间动态切换的能力。

关键设计：在角色扮演提示的设计上，研究者精心设计了不同的情境和指令，以引导LLM表现出特定的人格类型。例如，在MBTI测试中，研究者会要求LLM扮演一个内向或外向的角色，然后根据LLM的回答来判断其人格类型。在WUSCT测试中，研究者会提供一些不完整的句子，要求LLM完成这些句子，从而分析LLM的潜在想法和情感。

📊 实验亮点

研究结果表明，LLM能够根据角色扮演提示动态切换人格类型，并且表现出与人类相似的人格特征。通过投射测试，研究者揭示了LLM的隐藏人格特征，例如其对权力、成就和亲密关系的看法。机器学习分析表明，LLM具有独特的AInality特征，并且不同LLM之间的人格类型存在差异。这些发现为理解LLM的内在机制和行为模式提供了重要的 insights。

🎯 应用场景

该研究的潜在应用领域包括：1) 提升人机交互体验，通过了解LLM的人格特征，可以设计更自然、更个性化的交互方式；2) 改善LLM的安全性，通过识别LLM的潜在风险人格，可以采取相应的措施来防止其被用于恶意目的；3) 促进LLM的伦理使用，通过了解LLM的价值观和道德观，可以引导其做出更符合伦理的决策。该研究的实际价值在于为理解和控制LLM提供了一种新的视角，未来影响在于推动人工智能的健康发展。

📄 摘要（原文）

This study explores the idea of AI Personality or AInality suggesting that Large Language Models (LLMs) exhibit patterns similar to human personalities. Assuming that LLMs share these patterns with humans, we investigate using human-centered psychometric tests such as the Myers-Briggs Type Indicator (MBTI), Big Five Inventory (BFI), and Short Dark Triad (SD3) to identify and confirm LLM personality types. By introducing role-play prompts, we demonstrate the adaptability of LLMs, showing their ability to switch dynamically between different personality types. Using projective tests, such as the Washington University Sentence Completion Test (WUSCT), we uncover hidden aspects of LLM personalities that are not easily accessible through direct questioning. Projective tests allowed for a deep exploration of LLMs cognitive processes and thought patterns and gave us a multidimensional view of AInality. Our machine learning analysis revealed that LLMs exhibit distinct AInality traits and manifest diverse personality types, demonstrating dynamic shifts in response to external instructions. This study pioneers the application of projective tests on LLMs, shedding light on their diverse and adaptable AInality traits.