LLM-Driven Multimodal Opinion Expression Identification

📄 arXiv: 2406.18088v2 📥 PDF

作者: Bonian Jia, Huiyao Chen, Yueheng Sun, Meishan Zhang, Min Zhang

分类: cs.CL, cs.AI, cs.SD, eess.AS

发布日期: 2024-06-26 (更新: 2024-06-29)

备注: 5 pages, 3 Figures, Accept by Interspeech 2024

期刊: Proceedings of Interspeech 2024

DOI: 10.21437/Interspeech.2024-2550

💡 一句话要点

提出基于LLM的多模态情感表达识别方法STOEI，提升语音助手和抑郁症诊断等应用的情感理解能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 大型语言模型 语音情感分析 文本情感分析 人机交互 深度学习

📋 核心要点

  1. 现有情感表达识别方法主要依赖文本信息，忽略了语音等其他模态的情感线索，限制了情感理解的准确性。
  2. 论文提出了一种基于大型语言模型(LLM)的多模态情感表达识别方法STOEI，融合语音和文本信息，提升情感识别能力。
  3. 实验结果表明，提出的MOEI任务和STOEI方法显著提高了情感表达识别的性能，超越了现有方法9.20%，达到SOTA水平。

📝 摘要（中文）

情感表达识别(OEI)在自然语言处理中至关重要，可应用于语音助手和抑郁症诊断等领域。本研究将OEI扩展到多模态输入，强调了语音线索在传递超越文本的情感细微之处的重要性。我们引入了一种新的多模态OEI (MOEI)任务，整合文本和语音以反映真实场景。利用CMU MOSEI和IEMOCAP数据集，我们构建了CI-MOEI数据集。此外，应用文本到语音(TTS)技术到MPQA数据集以获得CIM-OEI数据集。我们设计了一个OEI任务的模板，以充分利用大型语言模型(LLM)的生成能力。更进一步，我们提出了一种LLM驱动的方法STOEI，它结合了语音和文本模态来识别情感表达。实验表明，MOEI显著提高了性能，而我们的方法优于现有方法9.20%，并获得了SOTA结果。

🔬 方法详解

问题定义：论文旨在解决传统情感表达识别(OEI)方法仅依赖文本信息，忽略语音等其他模态情感线索的问题。现有方法无法充分捕捉情感的细微之处，限制了在语音助手、抑郁症诊断等实际应用中的性能。

核心思路：论文的核心思路是利用大型语言模型(LLM)的强大生成能力，结合语音和文本两种模态的信息，从而更全面、准确地识别情感表达。通过设计合适的模板，将多模态输入转化为LLM可以理解和处理的形式，充分发挥LLM在情感理解方面的潜力。

技术框架：整体框架包含数据准备、模型构建和实验评估三个主要阶段。首先，构建了CI-MOEI和CIM-OEI两个多模态数据集，分别基于CMU MOSEI/IEMOCAP和MPQA数据集，并利用TTS技术生成语音数据。然后，设计了基于LLM的STOEI模型，该模型接收文本和语音特征作为输入，通过特定的模板进行处理，并生成情感表达的识别结果。最后，通过实验评估STOEI模型在多模态情感表达识别任务上的性能。

关键创新：论文的关键创新在于提出了多模态情感表达识别(MOEI)任务，并设计了基于LLM的STOEI方法。与现有方法相比，STOEI能够同时利用文本和语音信息，更全面地理解情感表达。此外，通过设计合适的模板，充分利用了LLM的生成能力，提升了情感识别的准确性。

关键设计：论文设计了特定的模板，将文本和语音特征转化为LLM可以理解的输入形式。具体来说，文本信息直接作为LLM的输入，而语音信息则通过预训练的语音识别模型转换为文本，然后与原始文本一起输入LLM。此外，论文还探索了不同的LLM架构和训练策略，以优化STOEI模型的性能。损失函数采用交叉熵损失，用于衡量模型预测结果与真实标签之间的差异。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，提出的MOEI任务能够有效提升情感表达识别的性能。STOEI方法在CI-MOEI数据集上取得了显著的性能提升，超越了现有方法9.20%，并达到了SOTA水平。这表明STOEI方法能够有效地融合文本和语音信息，提升情感识别的准确性。

🎯 应用场景

该研究成果可应用于多个领域，例如：智能语音助手，使其能够更准确地理解用户的情感状态并做出相应的回应；抑郁症诊断，通过分析患者的语音和文本信息，辅助医生进行诊断；情感分析，更准确地识别社交媒体上的情感倾向，为舆情监控和产品改进提供支持。未来，该技术有望在人机交互、医疗健康等领域发挥更大的作用。

📄 摘要（原文）

Opinion Expression Identification (OEI) is essential in NLP for applications ranging from voice assistants to depression diagnosis. This study extends OEI to encompass multimodal inputs, underlining the significance of auditory cues in delivering emotional subtleties beyond the capabilities of text. We introduce a novel multimodal OEI (MOEI) task, integrating text and speech to mirror real-world scenarios. Utilizing CMU MOSEI and IEMOCAP datasets, we construct the CI-MOEI dataset. Additionally, Text-to-Speech (TTS) technology is applied to the MPQA dataset to obtain the CIM-OEI dataset. We design a template for the OEI task to take full advantage of the generative power of large language models (LLMs). Advancing further, we propose an LLM-driven method STOEI, which combines speech and text modal to identify opinion expressions. Our experiments demonstrate that MOEI significantly improves the performance while our method outperforms existing methods by 9.20\% and obtains SOTA results.