Humanity in AI: Detecting the Personality of Large Language Models

📄 arXiv: 2410.08545v1 📥 PDF

作者: Baohua Zhan, Yongyi Huang, Wenyao Cui, Huaping Zhang, Jianyun Shang

分类: cs.CL, cs.AI

发布日期: 2024-10-11

💡 一句话要点

结合文本挖掘与问卷调查，提升大语言模型人格检测的可靠性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 人格检测 文本挖掘 问卷调查 心理特征 幻觉 预训练数据

📋 核心要点

  1. 现有问卷调查法检测LLM人格时，易受幻觉和选项顺序影响，可靠性不足。
  2. 结合文本挖掘与问卷调查，前者提取心理特征，不受选项顺序影响，降低幻觉干扰。
  3. 实验表明该方法有效，并发现LLM人格源于预训练数据，指令数据可增强人格特质。

📝 摘要（中文）

本文提出了一种结合文本挖掘和问卷调查的方法，用于检测大语言模型（LLM）的人格。传统的问卷调查方法容易受到幻觉（LLM产生不准确或不相关的回答）和选项顺序敏感性的影响。为了解决这些问题，本文利用文本挖掘从LLM的回答中提取心理特征，避免了选项顺序的影响，并降低了幻觉的干扰。通过归一化两种方法的分数并计算均方根误差，实验结果验证了该方法的有效性。进一步研究了LLM人格特质的来源，发现LLM确实包含某些人格，例如ChatGPT和ChatGLM表现出“尽责性”的人格特质。LLM的人格来源于其预训练数据，指令数据可以增强包含人格的数据生成，并暴露其隐藏的人格。与人类平均人格分数相比，PLM中的FLAN-T5和ChatLLM中的ChatGPT的人格与人类更相似，分数差异分别为0.34和0.22。

🔬 方法详解

问题定义：现有的大语言模型人格检测方法，主要依赖问卷调查。然而，这种方法存在两个主要的痛点：一是大语言模型可能产生幻觉，给出不准确或不相关的回答；二是回答对选项的呈现顺序非常敏感，导致结果不稳定。因此，如何提高大语言模型人格检测的可靠性和准确性是一个亟待解决的问题。

核心思路：本文的核心思路是将文本挖掘技术与传统的问卷调查方法相结合。文本挖掘能够直接从大语言模型的文本回复中提取心理特征，而无需依赖特定的选项或答案。这样可以有效地避免选项顺序的影响，并降低幻觉对结果的干扰。通过结合两种方法的优势，可以更全面、更准确地评估大语言模型的人格。

技术框架：该方法主要包含以下几个阶段：1) 使用问卷调查法获取LLM的回答；2) 使用文本挖掘技术从LLM的回答中提取心理特征；3) 对两种方法得到的分数进行归一化处理；4) 计算两种方法结果的均方根误差，评估方法的有效性；5) 分析不同类型的LLM（如预训练语言模型和对话模型）的人格特征，并探究其来源。

关键创新：该方法最重要的创新点在于将文本挖掘技术引入到大语言模型的人格检测中。与传统的问卷调查方法相比，文本挖掘能够更直接、更客观地评估LLM的人格特征，避免了选项顺序和幻觉的影响。此外，该方法还能够分析不同类型的LLM的人格特征，并探究其来源，为理解LLM的行为和能力提供了新的视角。

关键设计：在文本挖掘方面，具体使用了哪些心理学特征提取方法（例如，情感分析、主题建模等）以及如何将这些特征映射到人格维度（例如，五大人格模型）的细节未知。问卷调查和文本挖掘结果的归一化方法，以及均方根误差的具体计算公式未知。不同类型LLM（PLM和ChatLLM）的具体选择和训练数据细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合文本挖掘和问卷调查的方法能够有效提高LLM人格检测的可靠性。研究发现，ChatGPT和ChatGLM表现出“尽责性”的人格特质。此外，FLAN-T5和ChatGPT的人格与人类更相似，分数差异分别为0.34和0.22，表明这些模型在一定程度上模拟了人类的人格特征。

🎯 应用场景

该研究成果可应用于评估和理解大型语言模型的行为模式，帮助开发者更好地控制和引导AI的行为，使其更符合人类的价值观和伦理规范。此外，该方法还可以用于比较不同LLM的人格特征，为选择合适的LLM用于特定任务提供参考依据。未来，该研究可能促进人机交互的自然性和可信度。

📄 摘要（原文）

Questionnaires are a common method for detecting the personality of Large Language Models (LLMs). However, their reliability is often compromised by two main issues: hallucinations (where LLMs produce inaccurate or irrelevant responses) and the sensitivity of responses to the order of the presented options. To address these issues, we propose combining text mining with questionnaires method. Text mining can extract psychological features from the LLMs' responses without being affected by the order of options. Furthermore, because this method does not rely on specific answers, it reduces the influence of hallucinations. By normalizing the scores from both methods and calculating the root mean square error, our experiment results confirm the effectiveness of this approach. To further investigate the origins of personality traits in LLMs, we conduct experiments on both pre-trained language models (PLMs), such as BERT and GPT, as well as conversational models (ChatLLMs), such as ChatGPT. The results show that LLMs do contain certain personalities, for example, ChatGPT and ChatGLM exhibit the personality traits of 'Conscientiousness'. Additionally, we find that the personalities of LLMs are derived from their pre-trained data. The instruction data used to train ChatLLMs can enhance the generation of data containing personalities and expose their hidden personality. We compare the results with the human average personality score, and we find that the personality of FLAN-T5 in PLMs and ChatGPT in ChatLLMs is more similar to that of a human, with score differences of 0.34 and 0.22, respectively.