PICLe: Eliciting Diverse Behaviors from Large Language Models with Persona In-Context Learning

📄 arXiv: 2405.02501v2 📥 PDF

作者: Hyeong Kyu Choi, Yixuan Li

分类: cs.CL, cs.AI

发布日期: 2024-05-03 (更新: 2024-05-14)

备注: ICML 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出PICLe框架，通过Persona In-Context Learning引导LLM展现特定人格行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人格引出 In-Context Learning 贝叶斯推理 似然比 行为定制 人机交互

📋 核心要点

  1. 现有方法难以有效引导大型语言模型展现特定人格，缺乏针对性的人格行为定制方案。
  2. PICLe框架基于贝叶斯推理，通过似然比选择In-Context Learning示例，优化模型人格引导。
  3. 实验表明，PICLe在多个LLM上优于现有基线方法，有效提升了模型人格行为的控制能力。

📝 摘要（中文）

大型语言模型(LLM)在海量文本语料库上训练，这些语料库编码了多样的人格特征。这引发了一个有趣的目标，即从LLM中引出所需的人格特征，并探测其行为偏好。因此，我们形式化了人格引出任务，旨在定制LLM的行为以符合目标人格。我们提出了Persona In-Context Learning (PICLe)，这是一个基于贝叶斯推理的新型人格引出框架。PICLe的核心是引入了一种基于似然比的新型ICL示例选择标准，该标准旨在最佳地指导模型引出特定的目标人格。我们通过在三个当代LLM上与基线方法进行广泛比较，证明了PICLe的有效性。代码可在https://github.com/deeplearning-wisc/picle获取。

🔬 方法详解

问题定义：论文旨在解决如何有效地从大型语言模型（LLM）中引出特定人格特征的问题。现有的方法在定制LLM的行为以符合目标人格方面存在不足，缺乏一种能够精确控制和引导LLM展现特定人格行为的有效框架。现有方法难以根据目标人格选择合适的上下文示例，导致模型输出与期望人格不一致。

核心思路：PICLe的核心思路是利用贝叶斯推理，通过选择最能体现目标人格的In-Context Learning (ICL) 示例来引导LLM的行为。论文设计了一种基于似然比的新型ICL示例选择标准，该标准能够衡量不同示例对于目标人格的贡献程度，并选择最相关的示例。这种方法能够更精确地控制LLM的输出，使其更符合目标人格的特征。

技术框架：PICLe框架主要包含以下几个阶段：1) 人格定义：明确目标人格的特征和属性。2) 示例库构建：构建包含各种人格特征的示例库。3) 示例选择：使用基于似然比的ICL示例选择标准，从示例库中选择最能体现目标人格的示例。4) In-Context Learning：将选择的示例作为上下文输入LLM，引导其生成符合目标人格的输出。整体流程是，给定目标人格，PICLe从预定义的示例库中选择最相关的示例，并将这些示例与输入提示一起提供给LLM，从而引导LLM生成具有目标人格特征的响应。

关键创新：PICLe的关键创新在于提出了基于似然比的ICL示例选择标准。与传统的随机选择或基于相似度选择的方法不同，PICLe的示例选择标准能够更准确地衡量示例对于目标人格的贡献程度，从而选择最相关的示例。这种方法能够更有效地引导LLM的行为，使其更符合目标人格的特征。

关键设计：PICLe的关键设计包括：1) 似然比计算：论文定义了似然比的计算方法，用于衡量示例对于目标人格的贡献程度。具体来说，似然比是模型在给定示例的情况下生成目标人格响应的概率与生成非目标人格响应的概率之比。2) 示例选择策略：论文提出了一种基于似然比的示例选择策略，选择似然比最高的K个示例作为上下文输入。3) LLM微调（可选）：为了进一步提升性能，可以使用少量数据对LLM进行微调，使其更好地适应目标人格。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，PICLe在三个不同的LLM上均优于现有的基线方法。具体来说，PICLe在人格一致性方面取得了显著提升，能够更准确地引导LLM生成符合目标人格的输出。实验还表明，PICLe对于不同的人格特征具有较强的适应性，能够有效地引出各种不同的人格行为。

🎯 应用场景

PICLe框架可应用于各种需要定制化LLM行为的场景，例如：角色扮演、虚拟助手、个性化教育等。通过控制LLM的人格特征，可以使其更好地适应不同的应用场景和用户需求。该研究有助于提升人机交互的自然性和有效性，并为开发更智能、更个性化的AI应用奠定基础。

📄 摘要（原文）

Large Language Models (LLMs) are trained on massive text corpora, which are encoded with diverse personality traits. This triggers an interesting goal of eliciting a desired personality trait from the LLM, and probing its behavioral preferences. Accordingly, we formalize the persona elicitation task, aiming to customize LLM behaviors to align with a target persona. We present Persona In-Context Learning (PICLe), a novel persona elicitation framework grounded in Bayesian inference. At the core, PICLe introduces a new ICL example selection criterion based on likelihood ratio, which is designed to optimally guide the model in eliciting a specific target persona. We demonstrate the effectiveness of PICLe through extensive comparisons against baseline methods across three contemporary LLMs. Code is available at https://github.com/deeplearning-wisc/picle.