NUS-Emo at SemEval-2024 Task 3: Instruction-Tuning LLM for Multimodal Emotion-Cause Analysis in Conversations

📄 arXiv: 2501.17261v1 📥 PDF

作者: Meng Luo, Han Zhang, Shengqiong Wu, Bobo Li, Hong Han, Hao Fei

分类: cs.CL

发布日期: 2024-08-22

备注: 2nd place at SemEval-2024 Task 3, Subtask 2, to appear in SemEval-2024 proceedings

💡 一句话要点

NUS-Emo提出指令调优LLM用于对话多模态情感原因分析，SemEval-2024 Task 3排名第二。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 情感原因抽取 大型语言模型 指令调优 对话系统 自然语言处理

📋 核心要点

  1. 现有方法在多模态对话情感原因分析中，难以有效捕捉情感与原因之间的复杂关系。
  2. 论文提出情感原因感知的指令调优方法，提升LLM对情感及其因果逻辑的理解能力。
  3. 实验结果表明，该方法在MECPE-Cat任务上取得了显著效果，F1值达到34.71%，排名第二。

📝 摘要（中文）

本文介绍了为SemEval-2024 Task 3（对话多模态情感原因分析）开发的系统架构。我们的项目专注于子任务2，即带情感类别的多模态情感原因对抽取（MECPE-Cat），并构建了一个双组件系统来应对该任务的独特挑战。我们将任务分解为两个子任务：对话中的情感识别（ERC）和情感原因对抽取（ECPE）。为了解决这些子任务，我们利用了大型语言模型（LLM）的能力，这些模型在各种自然语言处理任务和领域中始终表现出最先进的性能。最重要的是，我们设计了一种情感原因感知的指令调优方法，以增强LLM对情感及其相应因果关系的感知。我们的方法使我们能够熟练地处理MECPE-Cat的复杂性，实现了34.71%的加权平均F1分数，并在排行榜上名列第二。用于重现我们实验的代码和元数据均已公开。

🔬 方法详解

问题定义：论文旨在解决对话场景下的多模态情感原因对抽取问题（MECPE-Cat）。现有方法难以准确识别情感及其对应的原因，尤其是在多模态信息融合和复杂对话逻辑推理方面存在不足。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的自然语言理解和生成能力，并通过情感原因感知的指令调优，使LLM能够更好地理解情感及其对应的因果关系。通过指令调优，模型能够学习到如何从对话中识别情感，并找到导致这些情感的原因。

技术框架：该系统采用双组件架构，包含两个主要模块：情感识别（ERC）和情感原因对抽取（ECPE）。首先，ERC模块负责识别对话中的情感。然后，ECPE模块利用ERC模块的输出，抽取情感对应的原因。两个模块都基于指令调优的LLM实现。

关键创新：论文的关键创新在于提出了情感原因感知的指令调优方法。该方法通过精心设计的指令，引导LLM学习情感和原因之间的关联，从而提高情感原因对抽取的准确性。与传统的微调方法相比，指令调优能够更好地利用LLM的先验知识，并使其更好地适应特定任务。

关键设计：指令调优的具体设计包括：1) 设计包含情感和原因信息的指令模板；2) 构建包含情感和原因标注的训练数据集；3) 使用特定的损失函数来优化LLM，使其能够更好地理解和生成情感原因对。具体的参数设置和网络结构细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在SemEval-2024 Task 3的MECPE-Cat任务上取得了显著效果，加权平均F1分数达到34.71%，在排行榜上排名第二。该结果验证了情感原因感知的指令调优方法在多模态对话情感原因分析中的有效性，相较于其他参赛队伍的方法具有竞争力。

🎯 应用场景

该研究成果可应用于智能客服、心理健康咨询、舆情分析等领域。通过准确识别用户的情感及其原因，可以提供更个性化、更有效的服务。例如，在智能客服中，可以根据用户的情绪和问题根源，提供更精准的解决方案。在心理健康咨询中，可以帮助咨询师更好地理解患者的情绪状态和心理问题。

📄 摘要（原文）

This paper describes the architecture of our system developed for Task 3 of SemEval-2024: Multimodal Emotion-Cause Analysis in Conversations. Our project targets the challenges of subtask 2, dedicated to Multimodal Emotion-Cause Pair Extraction with Emotion Category (MECPE-Cat), and constructs a dual-component system tailored to the unique challenges of this task. We divide the task into two subtasks: emotion recognition in conversation (ERC) and emotion-cause pair extraction (ECPE). To address these subtasks, we capitalize on the abilities of Large Language Models (LLMs), which have consistently demonstrated state-of-the-art performance across various natural language processing tasks and domains. Most importantly, we design an approach of emotion-cause-aware instruction-tuning for LLMs, to enhance the perception of the emotions with their corresponding causal rationales. Our method enables us to adeptly navigate the complexities of MECPE-Cat, achieving a weighted average 34.71% F1 score of the task, and securing the 2nd rank on the leaderboard. The code and metadata to reproduce our experiments are all made publicly available.