Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation

📄 arXiv: 2310.04456v1 📥 PDF

作者: Shihao Zou, Xianying Huang, Xudong Shen

分类: cs.CL, cs.SD, eess.AS

发布日期: 2023-10-04

备注: Accepted to ACM MM 2023

💡 一句话要点

提出多模态提示变换器以解决情感识别中的噪声与标签稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 多模态融合 对话系统 深度学习 对比学习 Transformer 人机交互

📋 核心要点

  1. 多模态情感识别面临跨模态信息融合中的噪声问题和少样本标签预测的挑战。
  2. 提出多模态提示变换器（MPT），通过深度情感线索提取和提示信息设计来增强跨模态融合效果。
  3. 实验结果显示，所提模型在两个基准数据集上超越了现有的最先进模型，表现出显著的性能提升。

📝 摘要（中文）

情感识别在对话中对人机交互的发展至关重要。情感存在于多种模态中，多模态情感识别面临两个主要问题：跨模态信息融合过程中的噪声问题，以及语义相似但类别不同的少样本情感标签预测问题。为了解决这些问题，本文采用了深度情感线索提取和多模态提示信息设计，并提出了多模态提示变换器（MPT）进行跨模态信息融合。MPT将多模态融合信息嵌入变换器的每个注意力层中，使提示信息参与文本特征编码。最后，采用混合对比学习策略优化模型处理少样本标签的能力。实验结果表明，所提模型在两个基准数据集上优于现有最先进模型。

🔬 方法详解

问题定义：本文旨在解决情感识别中的噪声问题和少样本标签预测问题。现有方法在跨模态信息融合时容易受到噪声影响，同时在处理少样本情感标签时表现不佳。

核心思路：本文提出的核心思路是通过深度情感线索提取和多模态提示信息设计，增强不同模态的特征表示能力，并利用多模态提示变换器进行有效的信息融合。

技术框架：整体架构包括深度情感线索提取、特征过滤和多模态提示变换器（MPT）。MPT在每个注意力层中嵌入多模态融合信息，使得提示信息能够参与文本特征的编码与融合。

关键创新：最重要的技术创新在于设计了多模态提示变换器（MPT），该模型允许提示信息在跨模态融合中发挥作用，显著提升了情感识别的效果。

关键设计：在模型设计中，采用了混合对比学习策略，结合无监督和有监督的对比学习方法，以提高模型对少样本标签的处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提模型在两个基准数据集上均超越了现有最先进的情感识别模型，具体性能提升幅度达到X%（具体数据未知），显示出该方法在处理多模态情感识别任务中的有效性。

🎯 应用场景

该研究在情感识别领域具有广泛的应用潜力，尤其是在智能客服、社交机器人和情感分析等人机交互场景中。通过提升情感识别的准确性，可以改善用户体验，推动相关技术的发展与应用。

📄 摘要（原文）

Emotion Recognition in Conversation (ERC) plays an important role in driving the development of human-machine interaction. Emotions can exist in multiple modalities, and multimodal ERC mainly faces two problems: (1) the noise problem in the cross-modal information fusion process, and (2) the prediction problem of less sample emotion labels that are semantically similar but different categories. To address these issues and fully utilize the features of each modality, we adopted the following strategies: first, deep emotion cues extraction was performed on modalities with strong representation ability, and feature filters were designed as multimodal prompt information for modalities with weak representation ability. Then, we designed a Multimodal Prompt Transformer (MPT) to perform cross-modal information fusion. MPT embeds multimodal fusion information into each attention layer of the Transformer, allowing prompt information to participate in encoding textual features and being fused with multi-level textual information to obtain better multimodal fusion features. Finally, we used the Hybrid Contrastive Learning (HCL) strategy to optimize the model's ability to handle labels with few samples. This strategy uses unsupervised contrastive learning to improve the representation ability of multimodal fusion and supervised contrastive learning to mine the information of labels with few samples. Experimental results show that our proposed model outperforms state-of-the-art models in ERC on two benchmark datasets.