Do LLMs Have Distinct and Consistent Personality? TRAIT: Personality Testset designed for LLMs with Psychometrics
作者: Seungbeen Lee, Seungwon Lim, Seungju Han, Giyeong Oh, Hyungjoo Chae, Jiwan Chung, Minju Kim, Beong-woo Kwak, Yeonsoo Lee, Dongha Lee, Jinyoung Yeo, Youngjae Yu
分类: cs.CL, cs.AI
发布日期: 2024-06-20 (更新: 2025-03-19)
备注: Accepted to NAACL2025 Findings
💡 一句话要点
提出TRAIT以评估大型语言模型的个性特征
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 个性评估 心理测量 知识图谱 大五人格 短暗三角 对话系统 个性化推荐
📋 核心要点
- 现有方法未能有效评估大型语言模型的个性特征，缺乏系统的个性测试基准。
- TRAIT通过结合心理测量学验证的问卷和知识图谱，设计了一个全面的个性评估工具。
- TRAIT在多个关键指标上表现优异，揭示了LLMs的个性特征及其受训练数据的影响。
📝 摘要（中文）
随着大型语言模型（LLMs）的发展，它们被广泛应用于对话代理等多个领域。本文提出了TRAIT，一个包含8000道多项选择题的新基准，旨在评估LLMs的个性。TRAIT基于经过心理测量验证的两个小型人类问卷，即大五人格量表（BFI）和短暗三角（SD-3），并结合ATOMIC-10X知识图谱，涵盖多种现实场景。TRAIT在内容有效性、内部有效性、拒绝率和可靠性等四个关键指标上超越了现有的LLMs个性测试，揭示了LLMs具有明显且一致的个性，且受训练数据的高度影响。当前的提示技术在引导某些个性特征方面效果有限，提示未来研究的必要性。
🔬 方法详解
问题定义：本文旨在解决如何有效评估大型语言模型的个性特征的问题。现有的个性测试方法未能充分考虑LLMs的特性，缺乏系统性和可靠性。
核心思路：TRAIT的核心思想是通过结合心理测量学验证的问卷和知识图谱，构建一个多维度的个性评估工具，以更准确地反映LLMs的个性特征。
技术框架：TRAIT的整体架构包括两个主要模块：首先是基于BFI和SD-3的问卷设计，其次是利用ATOMIC-10X知识图谱增强问卷的情境适应性。
关键创新：TRAIT的主要创新在于其结合了心理测量学的严谨性与知识图谱的丰富性，显著提高了个性测试的有效性和可靠性。与现有方法相比，TRAIT能够更全面地捕捉LLMs的个性特征。
关键设计：TRAIT的设计包括8000道多项选择题，涵盖多种情境，并在内容有效性、内部有效性、拒绝率和可靠性等方面进行了严格的验证。
🖼️ 关键图片
📊 实验亮点
TRAIT在内容有效性、内部有效性、拒绝率和可靠性等四个关键指标上超越了现有个性测试，显示出显著的性能提升。研究结果表明，LLMs展现出明显且一致的个性特征，且受训练数据的影响显著。
🎯 应用场景
该研究的潜在应用领域包括人机交互、个性化推荐系统和心理健康评估等。通过准确评估LLMs的个性特征，可以提升对话系统的用户体验，并为个性化服务提供数据支持，推动相关领域的发展。
📄 摘要（原文）
Recent advancements in Large Language Models (LLMs) have led to their adaptation in various domains as conversational agents. We wonder: can personality tests be applied to these agents to analyze their behavior, similar to humans? We introduce TRAIT, a new benchmark consisting of 8K multi-choice questions designed to assess the personality of LLMs. TRAIT is built on two psychometrically validated small human questionnaires, Big Five Inventory (BFI) and Short Dark Triad (SD-3), enhanced with the ATOMIC-10X knowledge graph to a variety of real-world scenarios. TRAIT also outperforms existing personality tests for LLMs in terms of reliability and validity, achieving the highest scores across four key metrics: Content Validity, Internal Validity, Refusal Rate, and Reliability. Using TRAIT, we reveal two notable insights into personalities of LLMs: 1) LLMs exhibit distinct and consistent personality, which is highly influenced by their training data (e.g., data used for alignment tuning), and 2) current prompting techniques have limited effectiveness in eliciting certain traits, such as high psychopathy or low conscientiousness, suggesting the need for further research in this direction.