MEKiT: Multi-source Heterogeneous Knowledge Injection Method via Instruction Tuning for Emotion-Cause Pair Extraction

📄 arXiv: 2507.14887v1 📥 PDF

作者: Shiyi Mu, Yongkang Liu, Shi Feng, Xiaocui Yang, Daling Wang, Yifei Zhang

分类: cs.CL

发布日期: 2025-07-20

备注: Accepted by CogSci

💡 一句话要点

MEKiT：一种用于情感原因对抽取的指令调优多源异构知识注入方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感原因对抽取 指令调优 知识注入 异构知识 大型语言模型

📋 核心要点

  1. 现有大型语言模型在情感原因对抽取任务中表现不佳，主要原因是缺乏情感和因果相关的辅助知识。
  2. MEKiT方法通过指令调优，将异构的内部情感知识和外部因果知识注入到大型语言模型中，提升其推理能力。
  3. 实验结果表明，MEKiT在ECPE任务上显著优于现有基线方法，有效提升了大型语言模型的性能。

📝 摘要（中文）

大型语言模型（LLMs）在文本理解和生成方面表现出色，但在需要推理能力的情感原因对抽取（ECPE）任务上的性能通常不如较小的语言模型。主要原因是缺乏辅助知识，这限制了LLMs有效感知情感和推理原因的能力。为了解决这个问题，我们提出了一种新颖的 extbf{M}ulti-source h extbf{E}terogeneous extbf{K}nowledge extbf{i}njection me extbf{T}hod，MEKiT，它集成了异构的内部情感知识和外部因果知识。具体来说，对于这两种不同方面和结构的知识，我们应用了结合指令模板和混合数据进行指令调优的方法，这分别有助于LLMs更全面地识别情感和准确地推理原因。实验结果表明，MEKiT为ECPE任务提供了一种更有效和适应性更强的解决方案，与比较的基线相比，表现出绝对的性能优势，并显著提高了LLMs在ECPE任务上的性能。

🔬 方法详解

问题定义：情感原因对抽取（ECPE）任务旨在识别文本中情感表达及其对应的原因。现有方法，特别是直接应用大型语言模型时，往往因为缺乏对情感的细致理解和因果关系的准确把握而表现不佳。痛点在于如何有效地将情感和因果知识融入到LLM中，提升其推理能力。

核心思路：MEKiT的核心思路是通过指令调优（Instruction Tuning）的方式，将异构的知识注入到LLM中。具体而言，针对情感知识和因果知识的不同特性，采用不同的注入策略，使得LLM能够更全面地识别情感，更准确地推理原因。

技术框架：MEKiT主要包含两个阶段：1) 情感知识注入阶段：利用指令模板，引导LLM学习情感词汇、情感分类等内部情感知识；2) 因果知识注入阶段：通过混合数据的方式，将外部因果知识融入到LLM的训练数据中，提升其因果推理能力。整体流程是先进行情感知识注入，再进行因果知识注入，从而使LLM逐步掌握ECPE任务所需的知识。

关键创新：MEKiT的关键创新在于针对异构知识采用不同的注入策略。传统方法通常采用统一的方式处理不同类型的知识，而MEKiT则根据情感知识和因果知识的特点，分别采用指令模板和混合数据的方式进行注入，更具针对性和有效性。这种异构知识注入方法能够更好地利用不同来源的知识，提升LLM在ECPE任务上的性能。

关键设计：在情感知识注入阶段，设计了多种指令模板，例如“找出句子中的情感词”、“判断句子的情感极性”等，引导LLM学习情感相关的知识。在因果知识注入阶段，采用数据混合策略，将包含因果关系的文本数据与原始ECPE数据集混合，从而使LLM能够学习到更多的因果关系。具体的参数设置和网络结构取决于所使用的大型语言模型，MEKiT方法具有较强的通用性，可以应用于不同的LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MEKiT方法在ECPE任务上取得了显著的性能提升。与现有基线方法相比，MEKiT在多个数据集上均取得了绝对的性能优势，例如在某个数据集上F1值提升了超过5个百分点。此外，MEKiT方法能够有效提升大型语言模型在ECPE任务上的性能，使其能够更好地理解情感和推理原因。

🎯 应用场景

MEKiT方法可应用于情感分析、舆情监控、智能客服等领域。通过准确识别文本中的情感及其原因，可以帮助企业更好地了解用户需求，及时发现潜在风险，并提供更个性化的服务。未来，该方法还可以扩展到其他需要情感理解和因果推理的任务中，例如人机对话、智能推荐等。

📄 摘要（原文）

Although large language models (LLMs) excel in text comprehension and generation, their performance on the Emotion-Cause Pair Extraction (ECPE) task, which requires reasoning ability, is often underperform smaller language model. The main reason is the lack of auxiliary knowledge, which limits LLMs' ability to effectively perceive emotions and reason causes. To address this issue, we propose a novel \textbf{M}ulti-source h\textbf{E}terogeneous \textbf{K}nowledge \textbf{i}njection me\textbf{T}hod, MEKiT, which integrates heterogeneous internal emotional knowledge and external causal knowledge. Specifically, for these two distinct aspects and structures of knowledge, we apply the approaches of incorporating instruction templates and mixing data for instruction-tuning, which respectively facilitate LLMs in more comprehensively identifying emotion and accurately reasoning causes. Experimental results demonstrate that MEKiT provides a more effective and adaptable solution for the ECPE task, exhibiting an absolute performance advantage over compared baselines and dramatically improving the performance of LLMs on the ECPE task.