Personality as a Probe for LLM Evaluation: Method Trade-offs and Downstream Effects

📄 arXiv: 2509.04794v1 📥 PDF

作者: Gunmay Handa, Zekun Wu, Adriano Koshiyama, Philip Treleaven

分类: cs.CL

发布日期: 2025-09-05

💡 一句话要点

研究LLM中人格控制的方法权衡与下游影响，提出多层次稳定性评估框架。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人格控制 上下文学习 参数高效微调 机制性引导 鲁棒性评估 特质纯化

📋 核心要点

  1. 现有LLM人格控制方法的机制和权衡尚不明确，尤其是在推理能力、代理性能和偏差方面。
  2. 论文提出了一种系统性的研究方法，通过对比学习、参数高效微调和机制性引导三种策略，深入分析人格控制的有效性。
  3. 实验结果表明，不同方法在人格对齐、任务性能和鲁棒性之间存在权衡，为实际部署提供了指导。

📝 摘要（中文）

本文系统性地研究了大型语言模型（LLM）中基于大五人格特质的人格控制，对比了上下文学习（ICL）、参数高效微调（PEFT）和机制性引导（MS）三种方法。主要贡献包括：构建了一个平衡高/低特质响应的对比数据集，用于有效的引导向量计算和公平的跨方法评估；引入了一个统一的评估框架，基于运行内$Δ$分析，解耦了MMLU、GAIA和BBQ基准上的推理能力、代理性能和人口统计偏差；开发了特质纯化技术，分离了开放性和责任心，解决了特质编码中的表征重叠；提出了一个三级稳定性框架，量化了方法、特质和组合层面的鲁棒性，为部署约束下提供了实践指导。在Gemma-2-2B-IT和LLaMA-3-8B-Instruct上的实验表明，ICL在最小能力损失下实现了强大的对齐，PEFT以牺牲任务性能为代价实现了最高的对齐，MS提供了轻量级的运行时控制和有竞争力的有效性。特质分析表明，开放性具有独特的挑战性，宜人性最能抵抗ICL，人格编码集中在中间层。这些结果将人格操纵确立为行为表征的多层次探针，连接了表面条件、参数编码和激活层引导，并将机制性引导定位为微调的轻量级替代方案，适用于部署和可解释性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中人格控制方法选择的问题。现有方法，如上下文学习（ICL）、参数高效微调（PEFT）和机制性引导（MS），在人格对齐、任务性能和鲁棒性方面存在权衡，缺乏统一的评估框架和指导原则。此外，人格特质的表征可能存在重叠，影响控制的准确性。

核心思路：论文的核心思路是通过构建对比数据集、设计统一评估框架和开发特质纯化技术，系统性地分析不同人格控制方法的优缺点。通过量化方法、特质和组合层面的鲁棒性，为实际部署提供指导。机制性引导被视为一种轻量级的替代方案，在部署和可解释性方面具有优势。

技术框架：整体框架包括以下几个主要阶段：1) 构建对比数据集，包含高/低特质响应的样本；2) 使用ICL、PEFT和MS三种方法对LLM进行人格控制；3) 使用统一的评估框架，基于运行内$Δ$分析，评估推理能力、代理性能和人口统计偏差；4) 应用特质纯化技术，分离开放性和责任心；5) 使用三级稳定性框架，量化方法、特质和组合层面的鲁棒性。

关键创新：论文的关键创新点包括：1) 构建了平衡的对比数据集，用于人格控制的训练和评估；2) 提出了统一的评估框架，可以解耦推理能力、代理性能和人口统计偏差；3) 开发了特质纯化技术，解决了特质编码中的表征重叠问题；4) 提出了三级稳定性框架，量化了人格控制方法的鲁棒性。

关键设计：对比数据集的设计保证了高/低特质响应的平衡性，避免了数据偏差。统一评估框架使用运行内$Δ$分析，可以更准确地评估人格控制的效果。特质纯化技术使用特定的提示工程或对抗训练来分离特质表征。三级稳定性框架量化了方法、特质和组合层面的鲁棒性，为实际部署提供了指导。

📊 实验亮点

实验结果表明，ICL在最小能力损失下实现了强大的对齐，PEFT以牺牲任务性能为代价实现了最高的对齐，MS提供了轻量级的运行时控制和有竞争力的有效性。特质分析表明，开放性具有独特的挑战性，宜人性最能抵抗ICL，人格编码集中在中间层。

🎯 应用场景

该研究成果可应用于客户服务、虚拟助手、游戏角色扮演等领域，通过控制LLM的人格，提升用户体验和交互质量。该研究为LLM人格控制的实际部署提供了理论指导和技术支持，有助于开发更具个性化和适应性的AI系统。

📄 摘要（原文）

Personality manipulation in large language models (LLMs) is increasingly applied in customer service and agentic scenarios, yet its mechanisms and trade-offs remain unclear. We present a systematic study of personality control using the Big Five traits, comparing in-context learning (ICL), parameter-efficient fine-tuning (PEFT), and mechanistic steering (MS). Our contributions are fourfold. First, we construct a contrastive dataset with balanced high/low trait responses, enabling effective steering vector computation and fair cross-method evaluation. Second, we introduce a unified evaluation framework based on within-run $Δ$ analysis that disentangles, reasoning capability, agent performance, and demographic bias across MMLU, GAIA, and BBQ benchmarks. Third, we develop trait purification techniques to separate openness from conscientiousness, addressing representational overlap in trait encoding. Fourth, we propose a three-level stability framework that quantifies method-, trait-, and combination-level robustness, offering practical guidance under deployment constraints. Experiments on Gemma-2-2B-IT and LLaMA-3-8B-Instruct reveal clear trade-offs: ICL achieves strong alignment with minimal capability loss, PEFT delivers the highest alignment at the cost of degraded task performance, and MS provides lightweight runtime control with competitive effectiveness. Trait-level analysis shows openness as uniquely challenging, agreeableness as most resistant to ICL, and personality encoding consolidating around intermediate layers. Taken together, these results establish personality manipulation as a multi-level probe into behavioral representation, linking surface conditioning, parameter encoding, and activation-level steering, and positioning mechanistic steering as a lightweight alternative to fine-tuning for both deployment and interpretability.