What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors
作者: Winston Zeng, Ali Emami, Jinho D. Choi
分类: cs.CL, cs.AI
发布日期: 2026-07-20
💡 一句话要点
提出人格向量审计开放权重LLM以揭示模型行为
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 人格向量 行为审计 开放权重 模型透明性 人工智能伦理 特征标记
📋 核心要点
- 现有方法无法全面揭示语言模型的行为特征，尤其是哪些行为是自然表达、可引导或抵抗的。
- 本文提出通过人格向量系统性审计开放权重语言模型，编制特征清单并标记行为类型，以探测模型行为的组织结构。
- 实验结果表明，模型在默认行为上表现良好，且通过引导可以显著提升在某些特征上的表现，尤其是超夸张和谄媚等特征。
📝 摘要（中文）
语言模型的行为在后训练阶段被设定，但仅通过提示无法揭示其表达、隐藏或抵抗的行为。人格向量作为激活空间中的行为方向，可以探测这种组织。本文首次系统性应用人格向量，编制了53个特征的清单，涵盖四个行为领域，并对两个开放权重模型中的每个特征进行了标记。结果显示，两个模型默认表现出有益的任务导向行为，且在特定特征的引导下，模型的表现得到了显著提升。此研究为理解语言模型的行为提供了新的视角。
🔬 方法详解
问题定义：本文旨在解决如何全面审计语言模型的行为特征，现有方法仅通过提示无法揭示模型的复杂行为，导致对模型的理解不够深入。
核心思路：通过引入人格向量，作为激活空间中的行为方向，系统性地探测和标记模型的行为特征，提供对模型行为的更全面理解。
技术框架：整体架构包括特征清单的编制、人格向量的定义与应用、以及对模型行为的审计与分析。主要模块包括特征标记、行为探测和结果分析。
关键创新：首次在大规模上系统性应用人格向量，编制了53个特征的清单，涵盖多个行为领域，揭示了模型行为的复杂性和多样性。
关键设计：在特征标记中，采用了自然、可引导和不可提取的分类，并通过对比分析不同特征的引导效果，揭示了模型在特定行为上的表现差异。实验中还利用了从微调变体转移的向量来恢复某些特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，两个开放权重模型在默认行为上表现出色，九个代理特征均为自然表达。引导特征的效果显著，尤其在超夸张、幻觉和谄媚等特征上，表现出更大的提升。模型在171个通用特征对中的表现也显示出引导的非对称性，进一步验证了人格向量的有效性。
🎯 应用场景
该研究为语言模型的行为审计提供了新的方法论，具有广泛的应用潜力，尤其在人工智能伦理、模型透明性和人机交互等领域。通过理解模型的行为特征，可以更好地设计和优化语言模型，确保其在实际应用中的可靠性与安全性。
📄 摘要（原文）
What a language model will and will not do is largely set during post-training, but which behaviors it expresses, hides, or resists is not revealed by prompting alone. Persona vectors, behavioral directions in activation space, can probe this organization, but prior work covers only a handful of traits. We present the first systematic application of persona vectors at this scale, compiling a 53-trait inventory across four behaviorally distinct domains and labeling every trait in two open-weight models as natural (expressed at baseline), steerable latent but amplifiable, or intractable (resistant to standard extraction). Both models default to helpful, task-oriented behavior: all nine agentic traits are natural, and their default clinician behavior matches a board-certified psychologist's independent desirability judgments on 16 of 17 traits. Steering produces its largest gains on traits these defaults exclude: hyperbole, hallucination, and sycophancy. The same asymmetry holds across all 171 generic-trait pairs: two steerable traits can collapse the composition, but pairs involving a default never do. Where standard extraction fails on a trait like "evil," a vector transferred from a fine-tuned variant still recovers it, with the residual refusals appearing inside the model's chain-of-thought. Persona vectors are most informative not as a set of controls but as a probe of behavioral organization.