Latent Distribution Decoupling: A Probabilistic Framework for Uncertainty-Aware Multimodal Emotion Recognition

📄 arXiv: 2502.13954v1 📥 PDF

作者: Jingwang Huang, Jiang Zhong, Qin Lei, Jinpeng Gao, Yuming Yang, Sirui Wang, Peiguang Li, Kaiwen Wei

分类: cs.CL, cs.LG

发布日期: 2025-02-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出LDDU框架，通过解耦潜在情绪分布建模不确定性，提升多模态情感识别性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 不确定性建模 潜在分布解耦 对比学习 多标签分类

📋 核心要点

  1. 现有MMER方法忽略了多模态数据中固有的偶然不确定性，导致特征表示模糊，影响了模态融合的效果。
  2. LDDU框架通过在潜在情绪空间中引入对比解耦分布机制，显式地建模语义特征和偶然不确定性。
  3. 实验结果表明，LDDU在CMU-MOSEI和M$^3$ED数据集上取得了SOTA性能，验证了不确定性建模的有效性。

📝 摘要（中文）

本文提出了一种名为“基于不确定性感知的潜在情绪分布解耦（LDDU）”的框架，旨在解决多模态多标签情感识别（MMER）中因数据噪声引入的偶然不确定性问题。现有方法主要关注融合策略和模态-标签依赖关系建模，忽略了偶然不确定性的影响。LDDU从潜在情绪空间概率建模的新视角出发，引入对比解耦分布机制，提取语义特征和不确定性。此外，设计了一种不确定性感知的多模态融合方法，考虑不确定性的分散分布并整合分布信息。在CMU-MOSEI和M$^3$ED数据集上的实验结果表明，LDDU取得了最先进的性能，突出了不确定性建模在MMER中的重要性。

🔬 方法详解

问题定义：多模态多标签情感识别（MMER）旨在识别多模态数据中同时存在的多种情绪。现有方法主要集中在改进融合策略和建模模态与标签之间的依赖关系，但忽略了多模态数据中固有的偶然不确定性（aleatoric uncertainty）。这种不确定性源于数据噪声，会引入特征表示的模糊性，从而阻碍模态融合的有效性。

核心思路：LDDU的核心思路是从概率建模的角度出发，将潜在情绪空间视为一个概率分布，并通过解耦的方式将语义特征和不确定性显式地建模出来。通过对比学习的方式，使得语义特征的分布更加紧凑，不确定性的分布更加分散，从而实现二者的有效分离。这样，在后续的模态融合过程中，可以更加准确地利用语义特征，并降低不确定性带来的负面影响。

技术框架：LDDU框架主要包含以下几个模块：1) 特征提取模块：用于从不同的模态数据中提取特征表示。2) 潜在情绪分布解耦模块：该模块是LDDU的核心，通过对比解耦分布机制，将潜在情绪空间分解为语义特征分布和不确定性分布。3) 不确定性感知的融合模块：该模块根据每个模态的不确定性程度，自适应地调整其在融合过程中的权重。4) 情感分类模块：该模块根据融合后的特征表示，预测多标签情感。

关键创新：LDDU最重要的技术创新点在于提出了对比解耦分布机制，能够有效地将潜在情绪空间中的语义特征和不确定性分离。与现有方法相比，LDDU不再将不确定性视为噪声，而是将其作为一个重要的信息来源，并显式地建模出来。这种方法能够更加准确地捕捉多模态数据中的情感信息，并提高情感识别的鲁棒性。

关键设计：在潜在情绪分布解耦模块中，使用了对比学习的损失函数，鼓励语义特征的分布更加紧凑，不确定性的分布更加分散。在不确定性感知的融合模块中，使用了一种基于注意力机制的融合方法，根据每个模态的不确定性程度，自适应地调整其在融合过程中的权重。具体的参数设置和网络结构在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LDDU在CMU-MOSEI和M$^3$ED数据集上取得了state-of-the-art的性能。在CMU-MOSEI数据集上，LDDU在多个指标上均优于现有方法，例如在7-class分类任务中，准确率提升了超过2%。在M$^3$ED数据集上，LDDU也取得了显著的性能提升，验证了其在不同数据集上的泛化能力。这些实验结果表明，不确定性建模在MMER中具有重要意义。

🎯 应用场景

LDDU框架可应用于各种多模态情感识别场景，例如人机交互、情感计算、心理健康监测等。通过准确识别用户的情感状态，可以提升人机交互的自然性和有效性，为心理健康评估提供客观依据，并为情感相关的产品和服务提供技术支持。未来，该研究可以扩展到更复杂的情感识别任务，例如情感原因分析和情感对话生成。

📄 摘要（原文）

Multimodal multi-label emotion recognition (MMER) aims to identify the concurrent presence of multiple emotions in multimodal data. Existing studies primarily focus on improving fusion strategies and modeling modality-to-label dependencies. However, they often overlook the impact of \textbf{aleatoric uncertainty}, which is the inherent noise in the multimodal data and hinders the effectiveness of modality fusion by introducing ambiguity into feature representations. To address this issue and effectively model aleatoric uncertainty, this paper proposes Latent emotional Distribution Decomposition with Uncertainty perception (LDDU) framework from a novel perspective of latent emotional space probabilistic modeling. Specifically, we introduce a contrastive disentangled distribution mechanism within the emotion space to model the multimodal data, allowing for the extraction of semantic features and uncertainty. Furthermore, we design an uncertainty-aware fusion multimodal method that accounts for the dispersed distribution of uncertainty and integrates distribution information. Experimental results show that LDDU achieves state-of-the-art performance on the CMU-MOSEI and M$^3$ED datasets, highlighting the importance of uncertainty modeling in MMER. Code is available at https://github.com/201983290498/lddu_mmer.git.