CMATH: Cross-Modality Augmented Transformer with Hierarchical Variational Distillation for Multimodal Emotion Recognition in Conversation
作者: Xiaofei Zhu, Jiawei Cheng, Zhou Yang, Zhuo Chen, Qingyang Wang, Jianfeng Yao
分类: cs.MM, cs.CL
发布日期: 2024-11-15
💡 一句话要点
提出CMATH模型，通过跨模态增强Transformer和分层变分蒸馏提升对话情感识别精度。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态情感识别 对话情感识别 跨模态融合 Transformer 变分蒸馏 非对称融合 模态重建
📋 核心要点
- 现有对话情感识别方法忽略了多模态信息质量差异，采用对称融合架构，难以处理不均衡的模态信息。
- CMATH模型通过模态重建获取高质量模态表示，并使用非对称CMA-Transformer进行跨模态增强融合。
- CMATH引入分层变分蒸馏，维持不同粒度模态表示的一致性，在IEMOCAP和MELD数据集上取得了SOTA性能。
📝 摘要（中文）
本文提出了一种用于对话多模态情感识别（MER）的跨模态增强Transformer与分层变分蒸馏模型，名为CMATH。现有方法通常将多模态信息视为同等质量，并采用对称架构进行融合。然而，不同模态的质量差异显著，对称架构难以准确识别对话情感。此外，单一粒度的多模态融合可能无法充分整合模态信息，导致情感识别不准确。CMATH包含多模态交互融合和分层变分蒸馏两个主要组件。前者包含模态重建和跨模态增强Transformer（CMA-Transformer）两个子模块，其中模态重建侧重于获取高质量的压缩模态表示，CMA-Transformer采用非对称融合策略，将一种模态作为中心模态，其他模态作为辅助模态。后者设计变分融合网络，将CMA-Transformer学习的细粒度表示融合为粗粒度表示，并引入分层蒸馏框架，以保持不同粒度模态表示之间的一致性。在IEMOCAP和MELD数据集上的实验表明，CMATH优于现有的state-of-the-art基线模型。
🔬 方法详解
问题定义：对话多模态情感识别（MER）旨在整合多模态信息，准确识别对话中的情感。现有方法主要痛点在于：1) 忽略了不同模态信息质量的差异，简单地将所有模态视为同等重要；2) 采用对称的融合架构，难以有效处理质量参差不齐的模态信息；3) 在单一粒度上进行多模态融合，可能无法充分利用模态间的互补信息。
核心思路：CMATH的核心思路是：1) 通过模态重建，提升各模态表示的质量；2) 采用非对称的跨模态融合策略，以高质量模态为中心，增强其他模态的信息；3) 通过分层变分蒸馏，在不同粒度上保持模态表示的一致性，从而提升情感识别的准确性。这种设计旨在更好地利用不同模态的优势，并缓解模态质量差异带来的影响。
技术框架：CMATH模型主要包含两个组件：多模态交互融合和分层变分蒸馏。多模态交互融合模块包含两个子模块：模态重建和跨模态增强Transformer (CMA-Transformer)。模态重建用于获得高质量的压缩模态表示。CMA-Transformer采用非对称融合策略，将一种模态作为中心模态，其他模态作为辅助模态。分层变分蒸馏模块首先设计一个变分融合网络，将CMA-Transformer学习的细粒度表示融合为粗粒度表示。然后，引入分层蒸馏框架，以保持不同粒度模态表示之间的一致性。
关键创新：CMATH的关键创新点在于：1) 提出了非对称的跨模态融合策略，能够更好地利用高质量模态的信息，并增强其他模态的表示；2) 引入了分层变分蒸馏框架，能够在不同粒度上保持模态表示的一致性，从而提升模型的泛化能力和鲁棒性。与现有方法相比，CMATH更加关注模态质量的差异，并采用更加精细化的融合策略。
关键设计：CMA-Transformer的具体实现细节（例如Transformer的层数、注意力头的数量等）在论文中应该有详细描述，但摘要中未提及。分层变分蒸馏框架中，变分融合网络的具体结构（例如采用的神经网络类型、层数等）以及蒸馏损失函数的具体形式（例如KL散度、MSE等）也是关键的设计细节。这些细节决定了模型的性能和效果，需要在论文中进一步分析。
🖼️ 关键图片
📊 实验亮点
CMATH模型在IEMOCAP和MELD数据集上进行了实验，结果表明其性能优于现有的state-of-the-art基线模型。具体的性能提升幅度需要在论文中查看详细的实验结果和对比数据。这些实验结果验证了CMATH模型的有效性和优越性。
🎯 应用场景
CMATH模型在对话情感识别领域具有广泛的应用前景，例如智能客服、心理健康咨询、人机交互等。通过准确识别对话中的情感，可以提升用户体验，改善沟通效果，并为个性化服务提供支持。未来，该模型可以进一步扩展到其他多模态任务中，例如视频情感分析、社交媒体情感挖掘等。
📄 摘要（原文）
Multimodal emotion recognition in conversation (MER) aims to accurately identify emotions in conversational utterances by integrating multimodal information. Previous methods usually treat multimodal information as equal quality and employ symmetric architectures to conduct multimodal fusion. However, in reality, the quality of different modalities usually varies considerably, and utilizing a symmetric architecture is difficult to accurately recognize conversational emotions when dealing with uneven modal information. Furthermore, fusing multi-modality information in a single granularity may fail to adequately integrate modal information, exacerbating the inaccuracy in emotion recognition. In this paper, we propose a novel Cross-Modality Augmented Transformer with Hierarchical Variational Distillation, called CMATH, which consists of two major components, i.e., Multimodal Interaction Fusion and Hierarchical Variational Distillation. The former is comprised of two submodules, including Modality Reconstruction and Cross-Modality Augmented Transformer (CMA-Transformer), where Modality Reconstruction focuses on obtaining high-quality compressed representation of each modality, and CMA-Transformer adopts an asymmetric fusion strategy which treats one modality as the central modality and takes others as auxiliary modalities. The latter first designs a variational fusion network to fuse the fine-grained representations learned by CMA- Transformer into a coarse-grained representations. Then, it introduces a hierarchical distillation framework to maintain the consistency between modality representations with different granularities. Experiments on the IEMOCAP and MELD datasets demonstrate that our proposed model outperforms previous state-of-the-art baselines. Implementation codes can be available at https://github.com/ cjw-MER/CMATH.