Evaluating Subjective Cognitive Appraisals of Emotions from Large Language Models

📄 arXiv: 2310.14389v1 📥 PDF

作者: Hongli Zhan, Desmond C. Ong, Junyi Jessy Li

分类: cs.CL

发布日期: 2023-10-22

备注: EMNLP 2023 (Findings) Camera-Ready Version

🔗 代码/项目: GITHUB

💡 一句话要点

提出CovidET-Appraisals数据集以解决情感认知评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感认知评估 大型语言模型 自然语言处理 数据集构建 心理学研究

📋 核心要点

  1. 现有情感检测方法成熟，但自动预测认知评估的研究相对匮乏，导致情感理解的深度不足。
  2. 本文提出CovidET-Appraisals数据集，涵盖24个评估维度，旨在为大型语言模型提供评估认知评估能力的基础。
  3. 实验结果表明，尽管最佳模型表现出色，开源大型语言模型在认知评估任务上仍存在显著不足，指明未来研究方向。

📝 摘要（中文）

情感体验涉及复杂的过程，除了生理方面，心理学研究还关注个体根据自身价值观对情境的主观评估。尽管情感检测已成为成熟任务，但自动预测认知评估的研究仍然有限。本文提出CovidET-Appraisals数据集，这是迄今为止最全面的评估24个评估维度的数据集，涵盖241条Reddit帖子。该数据集为评估大型语言模型在自动评估和解释认知评估能力提供了理想的测试平台。研究发现，尽管最佳模型表现良好，开源大型语言模型在此任务上仍显不足，为未来情感智能模型的发展提出了新挑战。

🔬 方法详解

问题定义：本文旨在解决自动预测情感认知评估的问题。现有方法在情感理解上多集中于情感检测，缺乏对个体主观评估的深入分析，导致情感模型的智能化不足。

核心思路：通过构建CovidET-Appraisals数据集，提供24个评估维度的自然语言解释，论文旨在评估大型语言模型在理解和解释情感认知评估方面的能力。这样的设计使得模型不仅能识别情感，还能理解其背后的认知过程。

技术框架：研究首先收集和标注241条Reddit帖子，构建数据集。然后，利用大型语言模型对数据集进行训练和评估，分析模型在不同评估维度上的表现。

关键创新：CovidET-Appraisals数据集是首个全面评估情感认知评估的资源，填补了现有研究的空白。与传统情感分析方法不同，该数据集强调了情感背后的认知过程。

关键设计：数据集中的每个评估维度都配有自然语言解释，帮助模型理解情感的复杂性。模型训练中采用了特定的损失函数，以优化情感评估的准确性和解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管最佳模型在情感认知评估任务上表现良好，但开源大型语言模型的性能仍显不足，提示未来研究需关注情感智能模型的进一步优化。具体性能数据未提供，需进一步探索。

🎯 应用场景

该研究的潜在应用领域包括情感计算、心理健康监测和人机交互等。通过提高模型对情感认知评估的理解能力，可以在情感智能系统中实现更为精准的情感识别与响应，推动智能助手和社交机器人等技术的发展。

📄 摘要（原文）

The emotions we experience involve complex processes; besides physiological aspects, research in psychology has studied cognitive appraisals where people assess their situations subjectively, according to their own values (Scherer, 2005). Thus, the same situation can often result in different emotional experiences. While the detection of emotion is a well-established task, there is very limited work so far on the automatic prediction of cognitive appraisals. This work fills the gap by presenting CovidET-Appraisals, the most comprehensive dataset to-date that assesses 24 appraisal dimensions, each with a natural language rationale, across 241 Reddit posts. CovidET-Appraisals presents an ideal testbed to evaluate the ability of large language models -- excelling at a wide range of NLP tasks -- to automatically assess and explain cognitive appraisals. We found that while the best models are performant, open-sourced LLMs fall short at this task, presenting a new challenge in the future development of emotionally intelligent models. We release our dataset at https://github.com/honglizhan/CovidET-Appraisals-Public.