InCharacter: Evaluating Personality Fidelity in Role-Playing Agents through Psychological Interviews

📄 arXiv: 2310.17976v4 📥 PDF

作者: Xintao Wang, Yunze Xiao, Jen-tse Huang, Siyu Yuan, Rui Xu, Haoran Guo, Quan Tu, Yaying Fei, Ziang Leng, Wei Wang, Jiangjie Chen, Cheng Li, Yanghua Xiao

分类: cs.CL

发布日期: 2023-10-27 (更新: 2024-06-07)

备注: ACL 2024

💡 一句话要点

提出InCharacter以解决角色扮演代理的人格忠实性评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 角色扮演代理 人格评估 心理量表 人机交互 大型语言模型 心理学 评估方法

📋 核心要点

  1. 现有方法主要关注角色的知识和语言模式，未能全面评估角色扮演代理的人格忠实性。
  2. 本文提出InCharacter，通过心理量表对RPA进行人格评估，克服了以往自我报告评估的缺陷。
  3. 实验结果表明，使用InCharacter后，RPA的人格与人类感知的角色人格高度一致，准确率达到80.7%。

📝 摘要（中文）

角色扮演代理（RPA）依赖大型语言模型，已成为应用领域的热门。然而，评估RPA是否准确再现目标角色的人格，即角色忠实性，仍然是一个关键挑战。现有方法主要关注角色的知识和语言模式。本文提出了一种新颖的视角，通过心理量表评估RPA的人格忠实性。我们提出InCharacter，即对角色代理进行人格测试的访谈方法。实验涵盖32个不同角色和14种广泛使用的心理量表，结果验证了InCharacter在测量RPA人格方面的有效性，并显示最先进的RPA的人格与人类感知的角色人格高度一致，准确率达到80.7%。

🔬 方法详解

问题定义：本文旨在解决角色扮演代理（RPA）在人格忠实性评估中的不足，现有方法主要集中于知识和语言模式，缺乏对人格特征的深入分析。

核心思路：提出InCharacter方法，通过心理量表对RPA进行系统的人格评估，提供更为准确的角色忠实性测量。该方法通过心理访谈的形式，能够更全面地捕捉角色的人格特征。

技术框架：InCharacter的整体架构包括角色选择、心理量表设计、数据收集和分析四个主要模块。首先选择32个角色，然后设计14种心理量表进行评估，最后通过实验验证RPA的人格表现。

关键创新：最重要的技术创新在于引入心理学量表作为评估工具，区别于传统的基于知识和语言模式的评估方法，提供了更为科学的评估标准。

关键设计：在心理量表的选择上，确保涵盖多种人格特征，采用标准化的访谈流程，确保数据的可靠性和有效性。实验中使用的模型和参数经过精心调试，以提高评估的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用InCharacter方法后，最先进的角色扮演代理的人格与人类感知的角色人格高度一致，准确率达到80.7%。这一结果显著高于传统评估方法，验证了InCharacter在评估RPA人格忠实性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟助手和教育等场景，能够帮助开发者创建更具人格特征的角色，提升用户体验。未来，InCharacter方法可能推动角色扮演代理在更广泛的应用中实现更高的人格忠实性，增强人机交互的自然性和有效性。

📄 摘要（原文）

Role-playing agents (RPAs), powered by large language models, have emerged as a flourishing field of applications. However, a key challenge lies in assessing whether RPAs accurately reproduce the personas of target characters, namely their character fidelity. Existing methods mainly focus on the knowledge and linguistic patterns of characters. This paper, instead, introduces a novel perspective to evaluate the personality fidelity of RPAs with psychological scales. Overcoming drawbacks of previous self-report assessments on RPAs, we propose InCharacter, namely Interviewing Character agents for personality tests. Experiments include various types of RPAs and LLMs, covering 32 distinct characters on 14 widely used psychological scales. The results validate the effectiveness of InCharacter in measuring RPA personalities. Then, with InCharacter, we show that state-of-the-art RPAs exhibit personalities highly aligned with the human-perceived personalities of the characters, achieving an accuracy up to 80.7%.