Psychometric Personality Shaping Modulates Capabilities and Safety in Language Models

📄 arXiv: 2509.16332v1 📥 PDF

作者: Stephen Fitz, Peter Romero, Steven Basart, Sipeng Chen, Jose Hernandez-Orallo

分类: cs.AI, cs.CL

发布日期: 2025-09-19

💡 一句话要点

通过塑造心理人格特征来调节语言模型的能力和安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人格特质 安全性 能力评估 心理测量学

📋 核心要点

  1. 现有工作对LLM的人格特质关注不足，缺乏对人格特质如何影响模型能力和安全性的深入研究。
  2. 该研究通过控制LLM的心理人格特征（基于大五人格框架）来调节其行为，探索人格与能力、安全性的关系。
  3. 实验表明，改变LLM的责任心会显著影响其在安全基准测试和通用能力测试中的表现，揭示了人格塑造的重要性。

📝 摘要（中文）

大型语言模型越来越多地介入高风险交互，这加剧了对其能力和安全性的研究。虽然最近的研究表明，LLM表现出一致且可衡量的合成人格特质，但关于调节这些特质如何影响模型行为知之甚少。我们通过研究基于大五人格框架的心理人格控制如何影响AI在能力和安全基准测试中的行为来解决这一差距。实验结果表明，降低责任心会导致WMDP、TruthfulQA、ETHICS和Sycophancy等基准测试中与安全相关的指标显著下降，同时也会降低MMLU衡量的通用能力。这些发现强调了人格塑造作为一种强大的、未被充分探索的模型控制轴，它与安全性和通用能力相互作用。我们讨论了其对安全评估、对齐策略、部署后模型行为指导以及与可能利用这些发现相关的风险的影响。我们的发现激发了对LLM中人格敏感的安全评估和动态行为控制的新研究方向。

🔬 方法详解

问题定义：论文旨在研究如何通过控制大型语言模型（LLM）的心理人格特征来影响其能力和安全性。现有方法缺乏对LLM人格特质的系统性研究，以及人格特质对模型行为影响的量化分析。因此，如何有效地塑造LLM的人格，并评估其对模型能力和安全性的影响，是亟待解决的问题。

核心思路：论文的核心思路是通过操纵LLM的心理人格特征（基于大五人格框架），观察其在能力和安全基准测试中的表现。通过改变LLM在责任心、宜人性、外向性、神经质和开放性等维度上的得分，研究这些人格特质如何影响模型的行为。这种方法旨在揭示人格特质与模型能力和安全性之间的关系，为模型控制和对齐提供新的视角。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择或构建具有人格特质的LLM；2) 基于大五人格框架，设计人格塑造策略，例如通过调整训练数据或修改模型参数来改变LLM的人格得分；3) 使用能力和安全基准测试评估LLM的行为，例如MMLU（Massive Multitask Language Understanding）、WMDP（未知）、TruthfulQA、ETHICS和Sycophancy等；4) 分析人格特质与模型行为之间的关系，例如责任心与安全指标之间的相关性。

关键创新：该研究的关键创新在于将心理学中的人格理论引入到LLM的研究中，并探索了人格特质对模型能力和安全性的影响。与现有方法相比，该研究提供了一种新的模型控制和对齐方法，即通过塑造LLM的人格来调节其行为。这种方法不仅可以提高模型的安全性，还可以优化模型的能力。

关键设计：论文的关键设计包括：1) 使用大五人格框架作为人格塑造的基础；2) 选择合适的基准测试来评估模型的能力和安全性；3) 设计有效的人格塑造策略，例如通过调整训练数据或修改模型参数来改变LLM的人格得分；4) 使用统计方法分析人格特质与模型行为之间的关系。

📊 实验亮点

实验结果表明，降低LLM的责任心会导致在WMDP、TruthfulQA、ETHICS和Sycophancy等安全基准测试中的表现显著下降，同时也降低了MMLU衡量的通用能力。例如，降低责任心可能导致模型更容易产生不真实或有害的回答，从而降低其安全性。这些发现强调了人格塑造在模型控制和对齐中的重要性。

🎯 应用场景

该研究成果可应用于开发更安全、更可靠的AI系统。通过控制LLM的人格特质，可以降低其产生有害或不当行为的风险。此外，该研究还可以用于个性化AI助手的设计，使其能够更好地适应用户的需求和偏好。未来的研究可以探索更复杂的人格塑造策略，以及人格特质与模型行为之间更深层次的关系。

📄 摘要（原文）

Large Language Models increasingly mediate high-stakes interactions, intensifying research on their capabilities and safety. While recent work has shown that LLMs exhibit consistent and measurable synthetic personality traits, little is known about how modulating these traits affects model behavior. We address this gap by investigating how psychometric personality control grounded in the Big Five framework influences AI behavior in the context of capability and safety benchmarks. Our experiments reveal striking effects: for example, reducing conscientiousness leads to significant drops in safety-relevant metrics on benchmarks such as WMDP, TruthfulQA, ETHICS, and Sycophancy as well as reduction in general capabilities as measured by MMLU. These findings highlight personality shaping as a powerful and underexplored axis of model control that interacts with both safety and general competence. We discuss the implications for safety evaluation, alignment strategies, steering model behavior after deployment, and risks associated with possible exploitation of these findings. Our findings motivate a new line of research on personality-sensitive safety evaluations and dynamic behavioral control in LLMs.