RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models

📄 arXiv: 2310.00746v3 📥 PDF

作者: Zekun Moore Wang, Zhongyuan Peng, Haoran Que, Jiaheng Liu, Wangchunshu Zhou, Yuhan Wu, Hongcheng Guo, Ruitong Gan, Zehao Ni, Jian Yang, Man Zhang, Zhaoxiang Zhang, Wanli Ouyang, Ke Xu, Stephen W. Huang, Jie Fu, Junran Peng

分类: cs.CL, cs.AI

发布日期: 2023-10-01 (更新: 2024-06-18)

备注: 30 pages, repo at https://github.com/InteractiveNLP-Team/RoleLLM-public

💡 一句话要点

提出RoleLLM框架以优化大型语言模型的角色扮演能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 角色扮演 基准测试 上下文指令生成 微调技术 数据集构建 人机交互

📋 核心要点

  1. 现有的LLMs在角色扮演任务中存在闭源和通用训练的局限性，导致角色扮演能力的优化受限。
  2. RoleLLM框架通过角色档案构建、上下文指令生成、角色提示和指令微调等四个阶段，系统性地提升LLMs的角色扮演能力。
  3. 在RoleBench上进行的RoCIT实验显示，RoleLLaMA和RoleGLM在角色扮演能力上显著提升，甚至与GPT-4的RoleGPT相当。

📝 摘要（中文）

大型语言模型（LLMs）的出现为复杂任务如角色扮演铺平了道路，增强了用户交互能力。然而，现有LLMs的闭源特性和通用训练限制了角色扮演的优化。本文提出了RoleLLM框架，旨在基准测试、引导和增强LLMs的角色扮演能力。RoleLLM包括四个阶段：角色档案构建、基于上下文的指令生成、使用GPT的角色提示以及基于角色的指令微调。通过Context-Instruct和RoleGPT，我们创建了RoleBench，这是第一个系统化的细粒度角色扮演基准数据集，包含168,093个样本。此外，基于RoleBench的RoCIT显著提升了角色扮演能力，甚至在性能上与使用GPT-4的RoleGPT相当。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在角色扮演任务中的优化不足，尤其是由于闭源和通用训练导致的能力限制。

核心思路：RoleLLM框架通过系统化的四个阶段，分别构建角色档案、生成上下文指令、进行角色提示和微调，来提升模型的角色扮演能力。

技术框架：RoleLLM的整体架构包括四个主要模块：角色档案构建、Context-Instruct生成、RoleGPT角色提示和RoCIT微调。每个模块针对不同的角色扮演需求进行优化。

关键创新：RoleBench是第一个系统化的细粒度角色扮演基准数据集，包含168,093个样本，显著提升了角色扮演能力，并通过RoCIT实现了与现有最先进模型的竞争性能。

关键设计：在角色档案构建中，定义了100个角色；Context-Instruct生成阶段提取角色特定知识；RoleGPT阶段实现说话风格的模仿；RoCIT则对开放源代码模型进行微调和角色定制。具体的参数设置和损失函数设计在论文中详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoleBench上进行的实验表明，RoleLLaMA和RoleGLM在角色扮演能力上显著提升，性能与使用GPT-4的RoleGPT相当，展示了RoCIT的有效性和创新性。

🎯 应用场景

RoleLLM框架的潜在应用场景包括游戏开发、虚拟助手、教育培训等领域，能够通过更真实的角色扮演提升用户体验。未来，该框架还可能推动人机交互的进一步发展，使得AI能够更好地理解和模拟人类角色。

📄 摘要（原文）

The advent of Large Language Models (LLMs) has paved the way for complex tasks such as role-playing, which enhances user interactions by enabling models to imitate various characters. However, the closed-source nature of state-of-the-art LLMs and their general-purpose training limit role-playing optimization. In this paper, we introduce RoleLLM, a framework to benchmark, elicit, and enhance role-playing abilities in LLMs. RoleLLM comprises four stages: (1) Role Profile Construction for 100 roles; (2) Context-Based Instruction Generation (Context-Instruct) for role-specific knowledge extraction; (3) Role Prompting using GPT (RoleGPT) for speaking style imitation; and (4) Role-Conditioned Instruction Tuning (RoCIT) for fine-tuning open-source models along with role customization. By Context-Instruct and RoleGPT, we create RoleBench, the first systematic and fine-grained character-level benchmark dataset for role-playing with 168,093 samples. Moreover, RoCIT on RoleBench yields RoleLLaMA (English) and RoleGLM (Chinese), significantly enhancing role-playing abilities and even achieving comparable results with RoleGPT (using GPT-4).