Enhancing Persona Consistency for LLMs' Role-Playing using Persona-Aware Contrastive Learning

📄 arXiv: 2503.17662v2 📥 PDF

作者: Ke Ji, Yixin Lian, Linxu Li, Jingsheng Gao, Weiyuan Li, Bin Dai

分类: cs.CL

发布日期: 2025-03-22 (更新: 2025-03-25)

备注: 18 pages, 4 figures

💡 一句话要点

提出Persona-Aware Contrastive Learning以提升LLM角色扮演一致性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 角色扮演 对比学习 角色一致性 无监督学习

📋 核心要点

  1. 现有LLM在角色扮演中缺乏情感和细粒度角色意识，限制了个性化交互，且高质量标注数据成本高昂。
  2. 提出Persona-Aware Contrastive Learning (PCL)框架，通过角色对齐增强LLM角色扮演一致性，无需人工标注。
  3. 实验表明，配备PCL的LLM在自动评估和人工评估中均显著优于原始LLM，提升了角色扮演性能。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在许多对话生成任务中取得了突破性进展。然而，它们缺乏情感和细粒度的角色意识，限制了模型提供个性化和多样化交互的能力。当前方法在收集高质量的角色扮演场景标注数据方面面临高成本，并且由于角色扮演场景中模型行为的固有多样性，传统的人工对齐方法难以部署。受到通过RLHF（Reinforcement Learning from Human Feedback）对齐模型安全行为的启发，本文从角色对齐的角度重新审视模型角色扮演行为，并提出了一个名为Persona-Aware Contrastive Learning (PCL)的无标注框架，用于对齐LLMs在角色扮演期间的行为，从而增强模型的角色一致性。具体来说，我们首先设计了一种角色链方法，以鼓励模型基于角色特征和对话上下文进行自我提问，从而调整个性一致性。然后，我们通过迭代的角色特征使用与不使用之间的对比学习，进一步增强模型的角色扮演策略。在黑盒和白盒LLMs上的实验表明，配备PCL的LLMs在自动评估方法（CharEval和GPT-4）和人类专家评估下，均显著优于原始LLMs。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在角色扮演场景中角色一致性不足的问题。现有方法，如人工标注和强化学习，面临数据收集成本高、人工对齐困难等挑战，难以有效提升LLM的角色扮演能力。

核心思路：论文的核心思路是通过对比学习，使LLM更好地理解和利用角色信息，从而在角色扮演过程中保持一致的行为。通过区分使用角色特征和不使用角色特征的情况，让模型学习到角色信息的重要性，并将其融入到对话生成中。

技术框架：PCL框架包含两个主要阶段：角色链（Role Chain）和对比学习。角色链阶段，模型基于角色特征和对话上下文进行自我提问，以调整个性一致性。对比学习阶段，通过迭代的角色特征使用与不使用之间的对比，增强模型的角色扮演策略。整体流程是先通过角色链进行初步的角色对齐，然后通过对比学习进一步提升角色扮演能力。

关键创新：该方法的主要创新在于提出了一个无标注的对比学习框架，用于提升LLM的角色扮演一致性。与传统的有监督学习方法相比，该方法无需人工标注数据，降低了成本。与强化学习方法相比，该方法更易于部署，避免了复杂的奖励函数设计。

关键设计：角色链的设计鼓励模型进行自我反思和调整，以保持角色一致性。对比学习的关键在于构建正负样本对，正样本是使用角色特征生成的回复，负样本是不使用角色特征生成的回复。损失函数的设计目标是拉近正样本和锚点（输入）的距离，推远负样本和锚点的距离。具体的参数设置和网络结构在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，配备PCL的LLM在自动评估指标（CharEval和GPT-4）和人工评估中均显著优于原始LLM。具体的性能提升数据未在摘要中给出，属于未知信息。该研究证明了PCL框架在提升LLM角色扮演一致性方面的有效性，为无标注的角色扮演学习提供了一种新的思路。

🎯 应用场景

该研究成果可广泛应用于各种需要角色扮演的场景，例如游戏中的NPC对话、虚拟助手、教育领域的角色扮演模拟等。通过提升LLM的角色一致性，可以提供更具沉浸感和个性化的用户体验，增强人机交互的自然性和趣味性。未来，该方法可以进一步扩展到其他类型的对话生成任务，例如情感对话、知识型对话等。

📄 摘要（原文）

In recent years, large language models (LLMs) have achieved breakthrough progress in many dialogue generation tasks. However, their lack of emotion and fine-grained role awareness limits the model's ability to provide personalized and diverse interactions further. Current methods face high costs in collecting high-quality annotated data for scenarios such as role-playing, and traditional human alignment methods are difficult to deploy due to the inherent diversity of model behavior in role-playing scenarios. Inspired by the alignment of models for safety behaviors through RLHF (Reinforcement Learning from Human Feedback), in this paper, we revisit model role-playing behavior from the perspective of persona alignment and propose a novel annotation-free framework named \textbf{\underline{P}}ersona-Aware \textbf{\underline{C}}ontrastive \textbf{\underline{L}}earning (PCL) to align LLMs' behavior during role-playing, enhancing the model's role consistency. Specifically, we first design a role chain method to encourage the model to self-question based on the role characteristics and dialogue context to adjust personality consistency. Then, we further enhance the model's role-playing strategy through iterative contrastive learning between the use of role characteristics and not. Experiments on both black-box and white-box LLMs show that LLMs equipped with PCL significantly outperform vanilla LLMs under automatic evaluation methods (CharEval \& GPT-4) and human expert evaluation.