Emotion and Intent Joint Understanding in Multimodal Conversation: A Benchmarking Dataset

📄 arXiv: 2407.02751v2 📥 PDF

作者: Rui Liu, Haolin Zuo, Zheng Lian, Xiaofen Xing, Björn W. Schuller, Haizhou Li

分类: cs.CL, cs.AI

发布日期: 2024-07-03 (更新: 2024-07-04)

备注: 26 pages, 8 figures, 12 tables, NeurIPS 2024 Dataset and Benchmark Track

🔗 代码/项目: GITHUB

💡 一句话要点

提出MC-EIU数据集，用于多模态对话中情感和意图的联合理解。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态对话理解 情感识别 意图识别 数据集构建 人机交互

📋 核心要点

  1. 现有多模态对话理解数据集在情感和意图联合标注、模态覆盖、语言多样性及可访问性方面存在不足。
  2. 论文核心在于构建了一个包含文本、语音、视觉三种模态，支持英汉双语，并标注情感和意图的MC-EIU数据集。
  3. 论文提出了情感和意图交互(EI$^2$)网络，通过建模情感和意图之间的深度相关性，在MC-EIU数据集上取得了有效的结果。

📝 摘要（中文）

本文旨在解决多模态对话中情感和意图的联合理解问题(MC-EIU)，即解码多模态对话历史中蕴含的语义信息，同时推断当前话语的情感和意图。MC-EIU是许多人机交互界面的使能技术。然而，在标注、模态、语言多样性和可访问性方面，目前缺乏可用的数据集。为此，我们提出了一个MC-EIU数据集，该数据集包含7种情感类别、9种意图类别、3种模态（文本、语音和视觉内容）以及两种语言（英语和普通话）。此外，该数据集完全开源，可免费访问。据我们所知，MC-EIU是第一个用于多模态对话的全面且丰富的情感和意图联合理解数据集。伴随数据集的发布，我们还开发了一个情感和意图交互(EI$^2$)网络作为参考系统，通过建模多模态对话中情感和意图之间的深度相关性。通过对比实验和消融研究，我们证明了所提出的EI$^2$方法在MC-EIU数据集上的有效性。数据集和代码将在https://github.com/MC-EIU/MC-EIU上提供。

🔬 方法详解

问题定义：论文旨在解决多模态对话中情感和意图的联合理解问题。现有方法通常独立处理情感和意图识别，忽略了它们之间的相互影响。此外，缺乏同时具备多模态信息、情感和意图标注以及多语言支持的大规模数据集，限制了相关研究的进展。

核心思路：论文的核心思路是构建一个高质量的多模态对话数据集，并设计一个能够有效建模情感和意图之间交互关系的神经网络模型。通过联合学习情感和意图，可以提高模型对对话语义信息的理解能力，从而提升情感和意图识别的准确率。

技术框架：论文的技术框架主要包括两个部分：MC-EIU数据集的构建和EI$^2$网络的提出。MC-EIU数据集包含文本、语音和视觉三种模态，并标注了情感和意图信息，支持英汉双语。EI$^2$网络则通过多模态特征融合模块提取对话历史的特征表示，然后利用情感和意图交互模块建模它们之间的相关性，最后分别进行情感和意图的分类预测。

关键创新：论文的关键创新在于：1）构建了首个全面且丰富的情感和意图联合理解多模态对话数据集MC-EIU；2）提出了情感和意图交互(EI$^2$)网络，通过建模情感和意图之间的深度相关性，提升了模型性能。与现有方法相比，EI$^2$网络能够更好地捕捉情感和意图之间的相互影响，从而提高识别准确率。

关键设计：EI$^2$网络的关键设计包括：1）多模态特征融合模块，用于提取文本、语音和视觉模态的特征表示，并进行融合；2）情感和意图交互模块，通过注意力机制或图神经网络等方法建模情感和意图之间的相关性；3）情感和意图分类器，用于预测情感和意图的类别。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述，但具体数值未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在MC-EIU数据集上进行实验，证明了所提出的EI$^2$网络的有效性。对比实验表明，EI$^2$网络在情感和意图识别任务上均取得了优于基线模型的性能。消融研究进一步验证了情感和意图交互模块的重要性，表明建模情感和意图之间的相关性能够显著提升模型性能。具体的性能提升幅度未知。

🎯 应用场景

该研究成果可应用于智能客服、情感聊天机器人、人机交互等领域。通过准确理解用户的情感和意图，系统可以提供更个性化、更贴心的服务，提升用户体验。未来，该数据集和模型可以进一步扩展到更多语言和模态，并应用于更复杂的对话场景。

📄 摘要（原文）

Emotion and Intent Joint Understanding in Multimodal Conversation (MC-EIU) aims to decode the semantic information manifested in a multimodal conversational history, while inferring the emotions and intents simultaneously for the current utterance. MC-EIU is enabling technology for many human-computer interfaces. However, there is a lack of available datasets in terms of annotation, modality, language diversity, and accessibility. In this work, we propose an MC-EIU dataset, which features 7 emotion categories, 9 intent categories, 3 modalities, i.e., textual, acoustic, and visual content, and two languages, i.e., English and Mandarin. Furthermore, it is completely open-source for free access. To our knowledge, MC-EIU is the first comprehensive and rich emotion and intent joint understanding dataset for multimodal conversation. Together with the release of the dataset, we also develop an Emotion and Intent Interaction (EI$^2$) network as a reference system by modeling the deep correlation between emotion and intent in the multimodal conversation. With comparative experiments and ablation studies, we demonstrate the effectiveness of the proposed EI$^2$ method on the MC-EIU dataset. The dataset and codes will be made available at: https://github.com/MC-EIU/MC-EIU.