Virtual Personas for Language Models via an Anthology of Backstories
作者: Suhong Moon, Marwa Abdulhai, Minwoo Kang, Joseph Suh, Widyadewi Soedarmadji, Eran Kohen Behar, David M. Chan
分类: cs.CL, cs.AI
发布日期: 2024-07-09 (更新: 2024-11-01)
备注: EMNLP 2024 Main
🔗 代码/项目: GITHUB
💡 一句话要点
Anthology：通过人物背景故事集，为语言模型构建虚拟角色。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 虚拟角色 背景故事 行为模拟 提示工程
📋 核心要点
- 现有大型语言模型难以模拟特定个体的人类行为，缺乏对模型响应的有效控制。
- Anthology方法通过为LLM提供详细的“背景故事”，使其能够模拟具有特定特征的虚拟角色。
- 实验表明，Anthology显著提高了LLM在模拟人类调查响应方面的一致性和准确性，最高提升达27%。
📝 摘要（中文）
大型语言模型（LLMs）通过海量文本进行训练，这些文本由数百万不同的作者撰写，反映了人类特征的巨大多样性。虽然这些模型有潜力在行为研究中用作人类受试者的近似，但先前的工作在引导模型响应以匹配个体人类用户方面受到限制。在这项工作中，我们介绍了一种名为“Anthology”的方法，通过利用开放式的生命叙事（我们称之为“背景故事”）来调节LLM，使其适应特定的虚拟角色。我们表明，我们的方法提高了实验结果的一致性和可靠性，同时确保了更多样化亚群体的更好代表性。在皮尤研究中心美国趋势小组（ATP）进行的三项具有全国代表性的人类调查中，我们证明了Anthology在匹配人类受访者的响应分布方面实现了高达18%的改进，在一致性指标方面实现了27%的改进。我们的代码和生成的背景故事可在https://github.com/CannyLab/anthology 获取。
🔬 方法详解
问题定义：现有的大型语言模型虽然拥有强大的文本生成能力，但难以模拟特定人群或个体的行为模式。它们缺乏对模型输出的细粒度控制，无法根据用户的特定需求生成具有针对性的响应。这限制了LLM在行为研究、用户模拟等领域的应用。
核心思路：Anthology的核心思路是为LLM提供详细的“背景故事”，这些故事描述了虚拟角色的生活经历、价值观、信仰等。通过将这些背景故事作为LLM的输入，可以引导模型生成与该角色相符的响应。这种方法类似于人类在进行角色扮演时，会根据角色的背景信息来调整自己的行为。
技术框架：Anthology方法主要包含以下几个阶段：1) 背景故事生成：使用LLM生成一系列具有不同特征的虚拟角色的背景故事。这些故事可以包含角色的年龄、性别、职业、教育程度、家庭状况、兴趣爱好等信息。2) 提示工程：设计合适的提示语，将背景故事融入到LLM的输入中。例如，可以使用“假设你是一个[角色描述]，你如何回答以下问题？”这样的提示语。3) 模型推理：将包含背景故事的提示语输入到LLM中，生成模型的响应。4) 评估：评估模型生成的响应与目标人群或个体的响应是否一致。
关键创新：Anthology的关键创新在于它提供了一种有效的方法来控制LLM的输出，使其能够模拟具有特定特征的虚拟角色。与以往的方法相比，Anthology不需要对LLM进行微调，而是通过简单的提示工程来实现角色模拟。这使得Anthology方法更加灵活和易于使用。
关键设计：Anthology的关键设计包括：1) 背景故事的详细程度：背景故事越详细，LLM就越能准确地模拟角色的行为。2) 提示语的设计：提示语的设计需要能够有效地将背景故事融入到LLM的输入中。3) 评估指标的选择：需要选择合适的评估指标来衡量模型生成的响应与目标人群或个体的响应是否一致。论文使用了匹配人类受访者的响应分布和一致性指标作为评估标准。
🖼️ 关键图片
📊 实验亮点
Anthology在三项具有全国代表性的人类调查中进行了评估，结果表明，Anthology在匹配人类受访者的响应分布方面实现了高达18%的改进，在一致性指标方面实现了27%的改进。这些结果表明，Anthology是一种有效的虚拟角色构建方法，可以显著提高LLM在模拟人类行为方面的准确性和一致性。
🎯 应用场景
Anthology方法具有广泛的应用前景，例如：1) 在行为研究中，可以使用Anthology来模拟不同人群的行为，从而研究不同因素对行为的影响。2) 在用户模拟中，可以使用Anthology来模拟用户的行为，从而测试和优化产品的用户体验。3) 在教育领域，可以使用Anthology来创建个性化的学习体验，根据学生的特点和需求来定制学习内容。
📄 摘要（原文）
Large language models (LLMs) are trained from vast repositories of text authored by millions of distinct authors, reflecting an enormous diversity of human traits. While these models bear the potential to be used as approximations of human subjects in behavioral studies, prior efforts have been limited in steering model responses to match individual human users. In this work, we introduce "Anthology", a method for conditioning LLMs to particular virtual personas by harnessing open-ended life narratives, which we refer to as "backstories." We show that our methodology enhances the consistency and reliability of experimental outcomes while ensuring better representation of diverse sub-populations. Across three nationally representative human surveys conducted as part of Pew Research Center's American Trends Panel (ATP), we demonstrate that Anthology achieves up to 18% improvement in matching the response distributions of human respondents and 27% improvement in consistency metrics. Our code and generated backstories are available at https://github.com/CannyLab/anthology.