nicolay-r at SemEval-2024 Task 3: Using Flan-T5 for Reasoning Emotion Cause in Conversations with Chain-of-Thought on Emotion States

📄 arXiv: 2404.03361v1 📥 PDF

作者: Nicolay Rusnachenko, Huizhi Liang

分类: cs.CL

发布日期: 2024-04-04

备注: Ranked 3rd-4th place (F1-proportional) and 5th place (F1-strict) in SemEval'24 Task 3, Subtask 1, to appear in SemEval-2024 proceedings

🔗 代码/项目: GITHUB

💡 一句话要点

利用Flan-T5和链式思维解决对话中的情感原因推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感推理 对话系统 链式思维 大语言模型 三跳推理 情感计算 人机交互

📋 核心要点

  1. 现有方法在对话中情感原因推理方面存在不足，难以准确捕捉情感状态与对话历史之间的复杂关系。
  2. 本文提出利用三跳推理（THOR）结合链式思维，进行大语言模型的指令调优，以提高情感原因推理的准确性。
  3. 实验结果显示，基于Flan-T5的模型在比赛中取得了第3和第4名的优异成绩，验证了方法的有效性和优越性。

📝 摘要（中文）

情感表达是对话的重要特征，可能与自我相关或由另一位说话者引起。情感原因的多样性可能源于对话历史、说话者的情感状态等。本文借鉴最新的链式思维进展，利用三跳推理方法（THOR）对大语言模型进行指令调优，以回答情感状态（THOR-state）和由一位说话者引起的情感（THOR-cause）。我们为THOR-cause引入推理修正（rr），以在微调中设计推理路径，特别依赖于标注的说话者情感状态来修正推理路径。最终提交基于Flan-T5-base（250M）和基于规则的跨度修正技术，经过THOR-state的初步调优和THOR-cause-rr的微调，在15支参赛队伍中获得了第3和第4名（F1比例）以及第5名（F1严格）。我们的THOR实现分支已公开可用。

🔬 方法详解

问题定义：本文旨在解决对话中情感原因推理的具体问题，现有方法在捕捉情感状态与对话历史之间的关系时存在不足，导致推理准确性低下。

核心思路：论文的核心思路是利用三跳推理（THOR）方法，结合链式思维对大语言模型进行指令调优，特别是通过推理修正（rr）来优化推理路径，从而提高情感原因的推理能力。

技术框架：整体架构包括两个主要模块：THOR-state用于情感状态的初步调优，THOR-cause-rr用于情感原因的微调。模型基于Flan-T5-base（250M），并结合规则基础的跨度修正技术。

关键创新：最重要的技术创新点在于引入推理修正（rr）机制，通过依赖标注的说话者情感状态来修正推理路径，这一设计显著提升了推理的准确性和可靠性。

关键设计：在参数设置上，模型采用Flan-T5-base结构，损失函数设计为适应情感推理任务的特定需求，网络结构则通过微调和修正机制进行优化。实验中使用的训练数据经过精心选择，以确保模型的有效性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，基于Flan-T5的模型在情感原因推理任务中表现优异，获得了第3和第4名（F1比例）以及第5名（F1严格），在15支参赛队伍中展现了显著的竞争力，验证了方法的有效性和创新性。

🎯 应用场景

该研究在情感计算、对话系统和人机交互等领域具有广泛的应用潜力。通过提高对话中情感原因的推理能力，可以增强智能助手的情感理解能力，从而提升用户体验和交互质量。未来，该方法还可以扩展到其他领域，如社交媒体分析和心理健康监测等。

📄 摘要（原文）

Emotion expression is one of the essential traits of conversations. It may be self-related or caused by another speaker. The variety of reasons may serve as a source of the further emotion causes: conversation history, speaker's emotional state, etc. Inspired by the most recent advances in Chain-of-Thought, in this work, we exploit the existing three-hop reasoning approach (THOR) to perform large language model instruction-tuning for answering: emotion states (THOR-state), and emotion caused by one speaker to the other (THOR-cause). We equip THOR-cause with the reasoning revision (rr) for devising a reasoning path in fine-tuning. In particular, we rely on the annotated speaker emotion states to revise reasoning path. Our final submission, based on Flan-T5-base (250M) and the rule-based span correction technique, preliminary tuned with THOR-state and fine-tuned with THOR-cause-rr on competition training data, results in 3rd and 4th places (F1-proportional) and 5th place (F1-strict) among 15 participating teams. Our THOR implementation fork is publicly available: https://github.com/nicolay-r/THOR-ECAC