TimeChara: Evaluating Point-in-Time Character Hallucination of Role-Playing Large Language Models

📄 arXiv: 2405.18027v1 📥 PDF

作者: Jaewoo Ahn, Taehyun Lee, Junyoung Lim, Jin-Hwa Kim, Sangdoo Yun, Hwaran Lee, Gunhee Kim

分类: cs.CL

发布日期: 2024-05-28

备注: ACL 2024 Findings. Code and dataset are released at https://ahnjaewoo.github.io/timechara

💡 一句话要点

提出TimeChara基准，评估角色扮演大语言模型的时间点幻觉问题，并提出Narrative-Experts方法缓解。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 角色扮演 大语言模型 时间点幻觉 知识推理 叙事专家 基准测试 自然语言处理

📋 核心要点

  1. 现有角色扮演LLM在特定时间点上对角色理解不足，易产生与角色身份和时间线矛盾的幻觉。
  2. 提出Narrative-Experts方法，通过分解推理步骤并利用叙事专家，减少时间点角色幻觉。
  3. 构建TimeChara基准评估时间点角色幻觉，实验表明现有LLM存在显著幻觉，Narrative-Experts能有效缓解。

📝 摘要（中文）

大型语言模型（LLMs）可以作为模拟人类行为的智能体（即角色扮演智能体）。本文强调了时间点角色扮演的重要性，它将角色置于叙事进程中的特定时刻，原因有三：(i)增强用户的叙事沉浸感，(ii)避免剧透，以及(iii)促进对同人角色扮演的参与。为了准确地表示特定时间点的角色，智能体必须避免角色幻觉，即展示与其角色身份和历史时间线相矛盾的知识。为此，本文提出了TimeChara，这是一个新的基准，旨在评估角色扮演LLM中的时间点角色幻觉。该基准包含通过自动化流程生成的10,895个实例，揭示了当前最先进的LLM（例如GPT-4o）中存在的严重幻觉问题。为了应对这一挑战，本文提出了一种名为Narrative-Experts的方法，该方法分解了推理步骤，并利用叙事专家来有效减少时间点角色幻觉。然而，TimeChara的实验结果表明，时间点角色幻觉仍然是一个挑战，需要进一步研究。

🔬 方法详解

问题定义：论文旨在解决角色扮演大语言模型（LLMs）在特定时间点上出现角色幻觉的问题。现有的LLM在进行角色扮演时，往往无法准确把握角色在特定时间点的状态和知识，从而产生与角色身份或历史时间线相悖的回答。这种幻觉会降低用户体验，破坏叙事沉浸感，并可能导致剧透等问题。

核心思路：论文的核心思路是将复杂的角色扮演推理过程分解为多个步骤，并针对每个步骤引入专门的“叙事专家”。这些专家负责处理特定类型的知识或推理，例如角色背景知识、事件时间线等。通过分而治之的方式，降低了单个模型的负担，并提高了推理的准确性。

技术框架：Narrative-Experts方法主要包含以下几个阶段：1) 问题分解：将用户输入的问题分解为多个子问题，每个子问题对应一个特定的推理步骤。2) 专家选择：根据子问题的类型，选择相应的叙事专家。3) 专家推理：每个专家独立地对子问题进行推理，并生成相应的答案。4) 答案整合：将各个专家的答案整合起来，形成最终的回答。

关键创新：该方法最重要的创新点在于引入了“叙事专家”的概念，将复杂的角色扮演推理过程分解为多个独立的模块。这种模块化的设计使得模型更容易学习和维护，并且可以灵活地扩展到新的角色和场景。与传统的端到端模型相比，Narrative-Experts方法具有更好的可解释性和可控性。

关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构。但是，可以推断出每个叙事专家可能采用不同的模型结构和训练方法，具体取决于其所负责的知识类型。例如，处理角色背景知识的专家可能使用知识图谱或向量数据库，而处理事件时间线的专家可能使用序列模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的LLM（例如GPT-4o）在TimeChara基准上表现出显著的时间点角色幻觉。通过引入Narrative-Experts方法，可以有效地减少这种幻觉。具体的性能提升数据未知，但论文强调了该方法在缓解幻觉问题上的有效性。TimeChara基准的构建为评估和改进角色扮演LLM提供了一个有价值的工具。

🎯 应用场景

该研究成果可应用于各种需要角色扮演的场景，例如游戏、教育、娱乐等。通过减少角色幻觉，可以提高用户体验，增强叙事沉浸感，并为用户提供更准确、更可靠的角色扮演体验。此外，该研究还可以促进对LLM在知识表示和推理方面的研究，并为开发更智能、更可靠的AI系统提供借鉴。

📄 摘要（原文）

While Large Language Models (LLMs) can serve as agents to simulate human behaviors (i.e., role-playing agents), we emphasize the importance of point-in-time role-playing. This situates characters at specific moments in the narrative progression for three main reasons: (i) enhancing users' narrative immersion, (ii) avoiding spoilers, and (iii) fostering engagement in fandom role-playing. To accurately represent characters at specific time points, agents must avoid character hallucination, where they display knowledge that contradicts their characters' identities and historical timelines. We introduce TimeChara, a new benchmark designed to evaluate point-in-time character hallucination in role-playing LLMs. Comprising 10,895 instances generated through an automated pipeline, this benchmark reveals significant hallucination issues in current state-of-the-art LLMs (e.g., GPT-4o). To counter this challenge, we propose Narrative-Experts, a method that decomposes the reasoning steps and utilizes narrative experts to reduce point-in-time character hallucinations effectively. Still, our findings with TimeChara highlight the ongoing challenges of point-in-time character hallucination, calling for further study.