Deep Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions

📄 arXiv: 2504.11673v5 📥 PDF

作者: Minwoo Kang, Suhong Moon, Seung Hyeong Lee, Ayush Raj, Joseph Suh, David M. Chan, John Canny

分类: cs.CL

发布日期: 2025-04-16 (更新: 2025-08-30)

备注: COLM 2025

💡 一句话要点

提出基于叙事身份的LLM虚拟角色构建方法，用于模拟政治倾向认知偏差。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 虚拟角色 叙事身份 政治倾向 认知偏差

📋 核心要点

  1. 现有方法难以使LLM准确模拟特定政治倾向人群的认知偏差，尤其是在群体内外认知差异方面。
  2. 论文提出基于“叙事身份”理论，通过构建详细的个人背景故事来引导LLM生成更真实的虚拟角色。
  3. 实验表明，该方法显著提升了LLM模拟人类反应分布的准确性，Wasserstein距离指标提升高达87%。

📝 摘要（中文）

大型语言模型(LLM)越来越擅长模拟人类行为，为评估用户对各种调查的反应提供了一种经济有效的方法。然而，这些调查中的问题通常反映了社会上理解的态度：例如，老年人/年轻人、自由主义者/保守主义者的态度模式。目前尚不清楚LLM的绑定是“深度的”，即LLM作为特定群体成员的回答，还是“浅显的”，即LLM根据群体外成员认为的群体内成员的回答方式进行响应。为了探索这种差异，我们使用了暴露已知群体内/群体外偏见的问题。这种程度的保真度对于将LLM应用于各种政治学研究至关重要，包括关于两极分化动态、群体间冲突和民主倒退等及时的主题。为此，我们提出了一种新颖的方法，通过生成扩展的、多轮访谈记录作为合成用户“背景故事”来构建虚拟角色。这种方法通过“叙事身份”理论来证明其合理性，该理论认为最高层次的个性是由自我叙事构建的。与以前的方法相比，我们生成的背景故事更长、细节更丰富，并且在真实地描述单个个体方面具有一致性。我们表明，以我们的背景故事为条件的虚拟角色能够密切地复制人类的反应分布（Wasserstein距离衡量，提升高达87%），并产生与原始群体内/群体外偏见研究中观察到的效果大小非常匹配的效果。总而言之，我们的工作将LLM的适用性扩展到估计社会上理解的反应之外，使其能够用于更广泛的人类研究。

🔬 方法详解

问题定义：论文旨在解决LLM在模拟具有特定政治倾向的个体时，无法准确捕捉其群体内/外认知偏差的问题。现有方法通常直接对LLM进行条件设定，缺乏对个体身份和背景的深入刻画，导致模拟结果与真实人类行为存在较大差距。现有方法的痛点在于无法使LLM进行“深度绑定”，即无法让LLM真正从特定群体的视角出发进行思考和回答。

核心思路：论文的核心思路是基于“叙事身份”理论，认为个体的身份和行为是由其自我叙事构建的。因此，通过为LLM构建详细的个人背景故事（backstory），可以引导LLM更好地理解和模拟特定个体的认知模式和行为方式。这种方法旨在使LLM能够进行“深度绑定”，从而更准确地模拟具有特定政治倾向的个体的认知偏差。

技术框架：该方法主要包含以下几个阶段：1) 背景故事生成：通过多轮对话的方式，生成详细的个人背景故事，包括个人经历、价值观、信仰等。2) 虚拟角色构建：将生成的背景故事作为条件输入LLM，引导LLM生成具有特定身份和倾向的虚拟角色。3) 问题回答：向虚拟角色提出问题，并记录其回答。4) 结果评估：将虚拟角色的回答与真实人类的回答进行比较，评估虚拟角色的模拟效果。

关键创新：该方法最重要的技术创新点在于将“叙事身份”理论应用于LLM虚拟角色构建。与以往直接对LLM进行条件设定的方法相比，该方法通过构建详细的个人背景故事，使LLM能够更深入地理解和模拟特定个体的认知模式和行为方式。这种方法能够更好地捕捉个体身份和背景对认知偏差的影响，从而提高虚拟角色的模拟准确性。

关键设计：在背景故事生成阶段，采用了多轮对话的方式，以确保背景故事的细节丰富度和一致性。在虚拟角色构建阶段，将背景故事作为LLM的输入，并使用适当的prompt engineering技术，引导LLM生成具有特定身份和倾向的虚拟角色。在结果评估阶段，使用了Wasserstein距离等指标来衡量虚拟角色的回答与真实人类回答之间的差异。

📊 实验亮点

实验结果表明，使用该方法构建的虚拟角色能够更准确地模拟人类的反应分布，Wasserstein距离指标提升高达87%。此外，虚拟角色产生的效应量与原始群体内/群体外偏见研究中观察到的效应量非常匹配，表明该方法能够有效地捕捉个体身份和背景对认知偏差的影响。

🎯 应用场景

该研究成果可应用于政治学、社会学等领域，用于研究政治极化、群体间冲突、民主倒退等问题。通过构建虚拟角色，可以更经济高效地模拟不同人群的认知和行为，从而为政策制定和社会干预提供更准确的依据。未来，该方法还可应用于市场调研、用户画像等领域。

📄 摘要（原文）

Large language models (LLMs) are increasingly capable of simulating human behavior, offering cost-effective ways to estimate user responses to various surveys and polls. However, the questions in these surveys usually reflect socially understood attitudes: the patterns of attitudes of old/young, liberal/conservative, as understood by both members and non-members of those groups. It is not clear whether the LLM binding is \emph{deep}, meaning the LLM answers as a member of a particular in-group would, or \emph{shallow}, meaning the LLM responds as an out-group member believes an in-group member would. To explore this difference, we use questions that expose known in-group/out-group biases. This level of fidelity is critical for applying LLMs to various political science studies, including timely topics on polarization dynamics, inter-group conflict, and democratic backsliding. To this end, we propose a novel methodology for constructing virtual personas with synthetic user "backstories" generated as extended, multi-turn interview transcripts. This approach is justified by the theory of \emph{narrative identity} which argues that personality at the highest level is \emph{constructed} from self-narratives. Our generated backstories are longer, rich in detail, and consistent in authentically describing a singular individual, compared to previous methods. We show that virtual personas conditioned on our backstories closely replicate human response distributions (up to an 87% improvement as measured by Wasserstein Distance) and produce effect sizes that closely match those observed in the original studies of in-group/out-group biases. Altogether, our work extends the applicability of LLMs beyond estimating socially understood responses, enabling their use in a broader range of human studies.