Helpful assistant or fruitful facilitator? Investigating how personas affect language model behavior

📄 arXiv: 2407.02099v2 📥 PDF

作者: Pedro Henrique Luz de Araujo, Benjamin Roth

分类: cs.CL

发布日期: 2024-07-02 (更新: 2025-05-21)

备注: 20 pages, 12 figures. Accepted at PLOS One

期刊: PLoS One 20(6): e0325664, 2025

DOI: 10.1371/journal.pone.0325664

💡 一句话要点

研究角色对大型语言模型行为的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 角色分配 个性化生成 人机交互 模型行为分析

📋 核心要点

  1. 现有的大型语言模型在生成内容时缺乏个性化，难以满足用户对不同角色的期望。
  2. 论文提出通过为模型分配不同的角色来引导其行为，从而实现个性化的内容生成。
  3. 实验结果表明，角色设置的生成表现出更大的变异性，且某些行为特征在不同模型中具有一致性。

📝 摘要（中文）

本论文探讨了如何通过为大型语言模型（LLM）分配角色（persona）来个性化和引导其生成内容。研究涵盖了162种来自12个类别的角色，包括性别、性取向和职业等变量，并对七个LLM进行了测试。通过五个数据集的问答任务，比较了不同角色生成的结果与控制角色和空角色设置的表现。结果显示，角色的生成表现出比控制设置更大的变异性，并且某些角色行为的度量在不同模型间具有普遍性。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在生成内容时缺乏个性化的问题。现有方法未能有效利用角色的多样性来引导模型行为，导致生成内容的单一性和局限性。

核心思路：论文的核心思路是通过为模型分配多种角色（persona），使其在生成内容时能够反映出不同的个性和行为特征。这种设计旨在提高生成内容的多样性和相关性。

技术框架：研究中使用了七个大型语言模型，并为其分配了162种角色，涵盖性别、性取向和职业等变量。模型在五个不同的数据集上进行问答任务，比较不同角色生成的结果。

关键创新：本研究的创新点在于系统性地分析了角色对模型行为的影响，发现角色生成的变异性显著高于控制设置，并且某些行为特征在不同模型间具有普遍性。

关键设计：在实验中，设置了控制角色（30种“有帮助的助手”同义句）和空角色设置，以控制模型的提示敏感性。通过这种设计，能够更清晰地评估角色对生成内容的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有模型和数据集中的角色生成表现出比控制设置更大的变异性，且某些角色行为的度量在不同模型中具有一致性。这表明角色的引入显著提升了模型的生成能力和多样性。

🎯 应用场景

该研究的潜在应用领域包括教育、客户服务和个性化内容生成等。通过为语言模型赋予特定角色，可以更好地满足用户需求，提高交互的自然性和有效性。未来，该方法有望在多种人机交互场景中得到广泛应用。

📄 摘要（原文）

One way to personalize and steer generations from large language models (LLM) is to assign a persona: a role that describes how the user expects the LLM to behave (e.g., a helpful assistant, a teacher, a woman). This paper investigates how personas affect diverse aspects of model behavior. We assign to seven LLMs 162 personas from 12 categories spanning variables like gender, sexual orientation, and occupation. We prompt them to answer questions from five datasets covering objective (e.g., questions about math and history) and subjective tasks (e.g., questions about beliefs and values). We also compare persona's generations to two baseline settings: a control persona setting with 30 paraphrases of "a helpful assistant" to control for models' prompt sensitivity, and an empty persona setting where no persona is assigned. We find that for all models and datasets, personas show greater variability than the control setting and that some measures of persona behavior generalize across models.