CAPE: A Chinese Dataset for Appraisal-based Emotional Generation using Large Language Models

📄 arXiv: 2410.14145v1 📥 PDF

作者: June M. Liu, He Cao, Renliang Sun, Rui Wang, Yu Li, Jiaxing Zhang

分类: cs.CL

发布日期: 2024-10-18

💡 一句话要点

CAPE：一个基于认知评估理论的中文情感生成数据集，利用大语言模型提升对话情感表达。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感生成 对话系统 认知评估理论 中文数据集 大语言模型

📋 核心要点

  1. 现有大语言模型在对话中生成情感恰当的回复面临挑战，因为人类情感和认知过程的复杂性未被充分探索。
  2. 论文提出一个两阶段自动数据生成框架，创建了CAPE数据集，该数据集基于认知评估理论，考虑个人和情境因素。
  3. 实验表明，在CAPE数据集上训练的智能体能够生成更符合人类情感表达的回复，提升了情感预测和下一句预测的性能。

📝 摘要（中文）

本文介绍了一个两阶段自动数据生成框架，用于创建CAPE，一个名为“基于认知评估理论的情感语料库”的中文数据集。该语料库通过考虑不同的个人和情境因素，促进生成具有情境适当情感反应的对话。我们提出了利用该数据集的两个任务：情感预测和下一句预测。自动和人工评估均表明，在我们的数据集上训练的智能体可以提供更符合人类情感表达的响应。我们的研究表明了在对话智能体中提升情感表达的潜力，为更细致和有意义的人机交互铺平了道路。

🔬 方法详解

问题定义：现有对话生成模型难以生成情感恰当的回复，主要痛点在于缺乏足够的情感标注数据，以及对人类情感认知过程的建模不足。尤其是在中文语境下，高质量的情感对话数据集更加稀缺。

核心思路：论文的核心思路是利用认知评估理论（Cognitive Appraisal Theory）指导数据生成，该理论认为情感的产生是个人对事件进行评估的结果。通过模拟不同的个人和情境因素，可以生成更丰富和多样化的情感表达。

技术框架：CAPE数据集的生成分为两个阶段：第一阶段是情境和角色设定生成，利用大语言模型生成包含情境描述和角色设定的对话上下文。第二阶段是情感回复生成，基于第一阶段生成的上下文，利用大语言模型生成情感化的回复，并根据认知评估理论进行情感标签的标注。整个流程旨在构建一个包含丰富情感信息和上下文关联的对话数据集。

关键创新：该论文的关键创新在于将认知评估理论引入到对话数据生成过程中。与以往依赖人工标注或简单规则生成情感数据的方法不同，CAPE数据集的生成过程更加自动化和可控，能够生成更贴近人类情感表达的对话。

关键设计：在数据生成过程中，论文使用了预训练的大语言模型作为生成器，并设计了特定的prompt来引导模型生成符合认知评估理论的对话。同时，论文还设计了自动评估指标来衡量生成对话的情感质量，并进行人工评估以验证数据集的有效性。具体参数设置和模型结构在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在CAPE数据集上训练的对话模型在情感预测和下一句预测任务上均取得了显著提升。自动评估和人工评估均显示，模型生成的回复更符合人类情感表达，验证了CAPE数据集的有效性和价值。具体的性能数据和提升幅度在论文中未详细说明，属于未知信息。

🎯 应用场景

该研究成果可应用于情感对话机器人、心理健康咨询、在线教育等领域。通过提升对话系统的情感表达能力，可以增强用户体验，提高人机交互的自然性和有效性。未来，该数据集和方法可以推广到其他语言和文化背景下，促进情感计算的发展。

📄 摘要（原文）

Generating emotionally appropriate responses in conversations with large language models presents a significant challenge due to the complexities of human emotions and cognitive processes, which remain largely underexplored in their critical role in social interactions. In this study, we introduce a two-stage automatic data generation framework to create CAPE, a Chinese dataset named Cognitive Appraisal theory-based Emotional corpus. This corpus facilitates the generation of dialogues with contextually appropriate emotional responses by accounting for diverse personal and situational factors. We propose two tasks utilizing this dataset: emotion prediction and next utterance prediction. Both automated and human evaluations demonstrate that agents trained on our dataset can deliver responses that are more aligned with human emotional expressions. Our study shows the potential for advancing emotional expression in conversational agents, paving the way for more nuanced and meaningful human-computer interactions.