Persona Following Is Not Selective Control: The Neutrality Gap in LLM User Simulation
作者: Jiashen Ren, Wenlin Zhang, Bohan Zhang, Xiaopeng Li, Zichuan Fu, Wanyu Wang, Junyi Li, Xiangyu Zhao
分类: cs.AI
发布日期: 2026-09-28
备注: 60 pages, 8 figures
💡 一句话要点
提出中立性差距以解决大语言模型用户模拟中的选择性控制问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性提示 大语言模型 用户模拟 选择性控制 中立性差距 跨属性影响 模型评估
📋 核心要点
- 现有的个性提示方法假设指定的用户属性仅影响该属性，但实验表明这一假设并不成立，存在跨属性影响。
- 论文提出了一种三状态诊断方法，通过指定非目标属性的方向或中立状态来评估选择性控制的有效性。
- 实验结果显示，在中立声明下，51-81%的项目对目标属性敏感，而在方向声明下，只有1个项目敏感，表明中立性差距的存在。
📝 摘要（中文）
个性提示在构建大语言模型（LLMs）用户模拟中被广泛使用，但其依赖于一个未经过充分验证的假设：指定一个用户属性应仅改变该属性。我们测试了这一假设，发现选择性控制存在系统性失败：在我们审计的八个黑箱LLM中，改变目标属性也会影响未指定的非目标属性。我们称之为跨属性影响。通过语义、上下文和内部分析，我们发现模型将个性提示视为用户的证据，并将推断的特征扩展到未指定的偏好。我们进一步探讨明确指定非目标属性是否能恢复选择性控制，结果表明，当非目标属性被赋予明确方向时，模型通常会遵循声明并抑制目标属性的影响。然而，当同一属性被声明为中立时，目标仍然影响选择，这种差异称为中立性差距，表明成功的个性跟随并不意味着选择性个性控制。
🔬 方法详解
问题定义：论文旨在解决个性提示在用户模拟中选择性控制失效的问题。现有方法假设指定属性不会影响其他属性，但实验结果显示这种假设不成立。
核心思路：论文的核心思路是通过引入中立性差距的概念，分析个性提示对未指定属性的影响，进而提出一种新的评估框架来验证选择性控制的有效性。
技术框架：整体架构包括三个主要模块：1) 个性提示输入；2) 属性影响评估；3) 结果分析与反馈。通过对比不同状态下的属性影响，评估模型的选择性控制能力。
关键创新：最重要的技术创新点在于提出了中立性差距的概念，揭示了个性跟随与选择性控制之间的区别，强调了非目标属性的稳定性对选择性控制的重要性。
关键设计：在实验中，使用了三种状态的属性声明：未指定、方向性和中立性。通过这种设计，能够更清晰地识别模型在不同条件下的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在中立声明下，51-81%的项目对目标属性敏感，而在方向声明下，只有1个项目敏感。这一发现揭示了中立性差距的存在，强调了选择性控制的复杂性。
🎯 应用场景
该研究的潜在应用领域包括用户模拟、个性化推荐系统以及人机交互等。通过更好地理解大语言模型的属性影响，能够提升模型在实际应用中的表现，增强用户体验，未来可能推动个性化技术的发展。
📄 摘要（原文）
Persona prompting is widely used to construct user simulations with large language models (LLMs), yet it relies on a largely untested assumption: specifying one user attribute should change that attribute alone. We test this assumption and identify a systematic failure of selective control: across all eight black-box LLMs we audit, changing a target attribute also shifts responses on unspecified, non-target attributes. For example, describing a user as more risk-seeking shifts color choices, even though the prompt never mentions color; we term this cross-attribute influence. Semantic, contextual, and internal analyses collectively suggest that models treat a persona prompt as evidence about the user and extend the inferred profile to unspecified preferences, a process we call trait-conditioned completion. We next ask whether explicitly specifying non-target attributes restores selective control. When a non-target attribute is assigned a clear direction, models generally follow the declaration and suppress the target attribute's influence. However, when the same attribute is declared neutral, the target continues to affect choices across all five open-weight checkpoints, even when the model correctly reports the declared state. This disparity, the neutrality gap, demonstrates that successful persona following does not imply selective persona control, which additionally requires keeping non-target attributes stable. We operationalize this distinction with a three-state diagnostic that leaves the non-target attribute unspecified or declares it directional or neutral; because directional tests can be passed by simply following the stated persona, the neutral state reveals failures they miss. In a post hoc analysis of independent items, neutral declarations leave 51-81% of items target-sensitive, against at most 1 of 320 item-pole comparisons under directional ones.