"Only ChatGPT gets me": An Empirical Analysis of GPT versus other Large Language Models for Emotion Detection in Text
作者: Florian Lecourt, Madalina Croitoru, Konstantin Todorov
分类: cs.CL, cs.AI
发布日期: 2025-03-05
期刊: WWW '25 - ACM Web Conference (formerly International World Wide Web Conference), Apr 2025, Sydney, Australia
💡 一句话要点
评估大型语言模型在文本情感检测中的能力，重点对比ChatGPT与其他LLM。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感检测 大型语言模型 ChatGPT 自然语言处理 人机交互
📋 核心要点
- 现有情感检测方法在理解文本细微情感表达方面存在不足，难以准确捕捉人类情感的复杂性。
- 该研究对比不同LLM在情感检测任务上的表现，评估其作为情感分析系统的有效性，并着重分析ChatGPT的性能。
- 通过与GoEmotions数据集上的先进模型对比，旨在提升人机交互的情感理解能力，使AI更具情感感知。
📝 摘要（中文）
本研究旨在评估大型语言模型（LLMs）在通过文本检测和理解人类情感方面的能力。借鉴心理学中的情感模型，我们采用了一种整合计算科学和情感科学见解的跨学科视角。主要目标是评估LLMs识别文本交互中表达的情感的准确性，并比较不同模型在该特定任务上的表现。这项研究有助于更广泛地改进人机交互，使人工智能技术对用户的情感细微差别更加敏感和响应。通过采用与GoEmotions数据集上的最先进模型进行比较的方法，我们旨在衡量LLMs作为情感分析系统的有效性，为在需要细致理解人类语言的各个领域中的潜在应用铺平道路。
🔬 方法详解
问题定义：论文旨在评估和比较不同大型语言模型（LLMs）在文本情感检测任务中的表现。现有方法，尤其是传统的情感分析方法，在处理复杂、细微的情感表达时存在局限性，无法充分理解人类情感的复杂性。因此，需要更强大的模型来提升情感检测的准确性和鲁棒性。
核心思路：论文的核心思路是利用大型语言模型强大的语言理解和生成能力，直接让LLM对文本进行情感分类或回归。通过对比不同LLM在同一数据集上的表现，评估它们在情感检测任务上的优劣，并分析ChatGPT的独特优势。这种方法避免了传统方法中特征工程的复杂性，直接利用预训练模型的知识。
技术框架：研究的技术框架主要包括以下几个步骤：1) 选择合适的情感数据集（GoEmotions）。2) 选择多个大型语言模型（包括ChatGPT和其他LLM）。3) 使用选定的LLM对数据集中的文本进行情感预测。4) 使用合适的评估指标（如准确率、F1值等）评估LLM的性能。5) 对比不同LLM的性能，分析结果。
关键创新：该研究的关键创新在于直接比较了多个大型语言模型在情感检测任务中的表现，特别是突出了ChatGPT的性能。与以往研究不同，该研究侧重于利用预训练LLM的zero-shot或few-shot能力，避免了针对特定数据集的微调，从而更好地评估了LLM的泛化能力。
关键设计：研究的关键设计包括：1) 选择GoEmotions数据集，该数据集包含多个情感类别，能够更全面地评估LLM的情感检测能力。2) 对比多种LLM，包括不同架构和规模的模型，以评估模型规模和架构对情感检测性能的影响。3) 使用标准的评估指标，如准确率、F1值等，对LLM的性能进行客观评估。
🖼️ 关键图片
📊 实验亮点
研究通过在GoEmotions数据集上进行实验，对比了ChatGPT和其他大型语言模型在情感检测任务上的性能。实验结果表明，ChatGPT在某些情感类别的检测上表现优异，展现了其强大的情感理解能力。具体的性能数据（如准确率、F1值）以及与其他基线的对比结果（提升幅度）需要在论文中查找。
🎯 应用场景
该研究成果可应用于多个领域，例如客户服务、社交媒体监控、心理健康评估等。通过准确识别用户的情感，可以改善客户服务质量，及时发现社交媒体上的负面情绪，并为心理健康评估提供辅助工具。未来，更智能的情感检测系统将有助于构建更人性化的人机交互界面。
📄 摘要（原文）
This work investigates the capabilities of large language models (LLMs) in detecting and understanding human emotions through text. Drawing upon emotion models from psychology, we adopt an interdisciplinary perspective that integrates computational and affective sciences insights. The main goal is to assess how accurately they can identify emotions expressed in textual interactions and compare different models on this specific task. This research contributes to broader efforts to enhance human-computer interaction, making artificial intelligence technologies more responsive and sensitive to users' emotional nuances. By employing a methodology that involves comparisons with a state-of-the-art model on the GoEmotions dataset, we aim to gauge LLMs' effectiveness as a system for emotional analysis, paving the way for potential applications in various fields that require a nuanced understanding of human language.