EmotionQueen: A Benchmark for Evaluating Empathy of Large Language Models

📄 arXiv: 2409.13359v1 📥 PDF

作者: Yuyan Chen, Hao Wang, Songzhou Yan, Sijia Liu, Yueze Li, Yi Zhao, Yanghua Xiao

分类: cs.CL, cs.AI

发布日期: 2024-09-20

备注: Accepted to ACL 2024 (Findings)

💡 一句话要点

EmotionQueen：一个用于评估大型语言模型共情能力的基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 情感智能 共情能力 评估基准 自然语言处理

📋 核心要点

  1. 现有研究主要关注情感识别等基础任务，无法全面评估LLMs的情感智能。
  2. EmotionQueen框架通过四个任务（关键事件、混合事件、隐式情感、意图识别）评估LLMs的共情能力。
  3. 实验结果揭示了LLMs在情感智能方面的能力和局限性，为后续研究提供了参考。

📝 摘要（中文）

大型语言模型（LLMs）的情感智能在自然语言处理中至关重要。然而，以往的研究主要集中在基本的情感分析任务上，例如情感识别，这不足以评估LLMs的整体情感智能。因此，本文提出了一个名为EmotionQueen的新框架，用于评估LLMs的情感智能。该框架包括四个独特的任务：关键事件识别、混合事件识别、隐式情感识别和意图识别。LLMs需要识别重要的事件或隐含的情感，并生成具有共情能力的回应。我们还设计了两个指标来评估LLMs在识别和回应情感相关陈述方面的能力。实验结果揭示了LLMs在情感智能方面的能力和局限性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）情感智能评估不全面的问题。现有方法主要集中在情感识别等基础任务，缺乏对LLMs在理解复杂情感场景、识别隐式情感以及生成共情回应等高级情感能力的评估。这使得我们难以了解LLMs在处理真实世界情感交互中的表现，阻碍了LLMs在需要高情商的应用场景中的应用。

核心思路：论文的核心思路是构建一个更全面、更具挑战性的情感智能评估基准。该基准不仅包含情感识别任务，还包括需要更深层次情感理解和推理的任务，例如关键事件识别、混合事件识别、隐式情感识别和意图识别。通过这些任务，可以更有效地评估LLMs在理解复杂情感场景和生成共情回应方面的能力。

技术框架：EmotionQueen框架包含四个主要任务：1) 关键事件识别：识别文本中最重要的事件；2) 混合事件识别：识别包含多种情感的事件；3) 隐式情感识别：识别文本中隐含的情感；4) 意图识别：识别说话者的意图。对于每个任务，LLMs需要识别相关信息并生成共情回应。框架还包括两个评估指标，用于评估LLMs在识别和回应方面的表现。

关键创新：该论文的关键创新在于提出了一个更全面、更具挑战性的情感智能评估基准EmotionQueen。与以往主要关注情感识别任务的研究不同，EmotionQueen包含了需要更深层次情感理解和推理的任务，例如混合事件识别和隐式情感识别。此外，该论文还设计了专门的评估指标来评估LLMs在识别和回应方面的表现，从而更全面地评估LLMs的情感智能。

关键设计：论文设计了两个评估指标：识别准确率和回应质量。识别准确率衡量LLMs在识别关键事件、混合事件、隐式情感和意图方面的准确性。回应质量则通过人工评估或自动评估指标（如BLEU、ROUGE等）来衡量LLMs生成的回应是否具有共情能力、是否贴切、是否流畅等。具体参数设置和网络结构取决于所使用的LLM模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有LLMs在EmotionQueen基准上表现出一定的局限性，尤其是在处理混合情感和隐式情感方面。尽管LLMs在识别关键事件和意图方面表现相对较好，但在生成具有高度共情能力的回应方面仍有提升空间。该基准的提出为未来LLMs情感智能研究提供了重要的评估工具和发展方向。

🎯 应用场景

该研究成果可应用于开发更具同理心和情感理解能力的人工智能系统，例如情感聊天机器人、心理健康助手、客户服务代理等。通过更准确地理解用户的情感需求，这些系统可以提供更个性化、更有效的服务，从而改善用户体验和促进人机交互。

📄 摘要（原文）

Emotional intelligence in large language models (LLMs) is of great importance in Natural Language Processing. However, the previous research mainly focus on basic sentiment analysis tasks, such as emotion recognition, which is not enough to evaluate LLMs' overall emotional intelligence. Therefore, this paper presents a novel framework named EmotionQueen for evaluating the emotional intelligence of LLMs. The framework includes four distinctive tasks: Key Event Recognition, Mixed Event Recognition, Implicit Emotional Recognition, and Intention Recognition. LLMs are requested to recognize important event or implicit emotions and generate empathetic response. We also design two metrics to evaluate LLMs' capabilities in recognition and response for emotion-related statements. Experiments yield significant conclusions about LLMs' capabilities and limitations in emotion intelligence.