End-to-end Semantic-centric Video-based Multimodal Affective Computing

📄 arXiv: 2408.07694v1 📥 PDF

作者: Ronghao Lin, Ying Zeng, Sijie Mai, Haifeng Hu

分类: cs.CV, cs.AI, cs.LG, cs.MM

发布日期: 2024-08-14

备注: Under Review

💡 一句话要点

提出SemanticMAC框架，解决视频多模态情感计算中的语义失衡与失配问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感计算 语义中心学习 Transformer模型 对比学习 伪标签生成 端到端学习 人机交互

📋 核心要点

  1. 现有视频多模态情感计算方法存在语义失衡和失配问题，且依赖手动特征提取器，限制了端到端流程的应用。
  2. SemanticMAC框架通过语义中心方法统一多模态表征学习，利用门控特征交互、伪标签生成和对比学习对齐语义。
  3. 实验结果表明，SemanticMAC在多个数据集和下游任务上超越了现有方法，验证了其有效性。

📝 摘要（中文）

为了提升机器的认知能力，理解人类情感对于实现通用人工智能(AGI)至关重要。在人机交互领域，视频多模态情感计算(MAC)日益受到关注。然而，现有方法主要集中于设计多模态融合算法，存在两个问题：预处理操作导致的语义失衡，以及不同模态情感内容与多模态真值不一致造成的语义失配。此外，手动特征提取器的使用使得它们无法构建用于多个MAC下游任务的端到端流程。为了解决上述挑战，我们提出了一种名为SemanticMAC的端到端框架，用于计算人类口语视频的多模态语义中心情感。我们首先在多模态数据预处理中采用预训练Transformer模型，并设计情感感知器模块来捕获单模态情感信息。此外，我们提出了一种语义中心方法，通过门控特征交互、多任务伪标签生成以及样本内/间对比学习，统一多模态表征学习。最后，SemanticMAC在语义中心标签的指导下，有效地学习特定语义和共享语义表征。大量实验结果表明，我们的方法在四个MAC下游任务的7个公共数据集上超越了最先进的方法。

🔬 方法详解

问题定义：现有视频多模态情感计算方法主要存在两个痛点。一是由于不同模态的预处理方式不同，导致语义信息不平衡。二是不同模态的情感内容与多模态情感标签之间存在不一致性，造成语义失配。此外，传统方法依赖手动设计的特征提取器，无法构建端到端的学习流程，限制了其在多个下游任务中的应用。

核心思路：SemanticMAC的核心思路是构建一个语义中心的多模态情感计算框架，通过统一的语义空间来对齐不同模态的信息。该框架利用预训练模型进行特征提取，并采用多种语义对齐策略，包括门控特征交互、多任务伪标签生成和对比学习，从而学习到更鲁棒和一致的多模态情感表征。

技术框架：SemanticMAC框架主要包含以下几个模块：1) 多模态数据预处理：使用预训练Transformer模型提取各模态的特征。2) 情感感知器模块：捕获单模态的情感信息。3) 语义中心表征学习：通过门控特征交互、多任务伪标签生成和对比学习，统一多模态表征。4) 情感预测：基于学习到的多模态表征进行情感预测。

关键创新：SemanticMAC的关键创新在于其语义中心的表征学习方法。不同于以往侧重于设计复杂的融合算法，该方法着重于在语义层面统一不同模态的信息，从而缓解语义失衡和失配问题。此外，端到端的设计使得该框架可以直接应用于多个下游任务。

关键设计：在语义中心表征学习中，门控特征交互用于控制不同模态信息的融合程度；多任务伪标签生成利用情感预测结果作为辅助信息，增强模型的语义理解能力；对比学习则通过拉近相似样本、推远不相似样本，提高表征的区分性。具体的损失函数设计和网络结构细节在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SemanticMAC在7个公共数据集的4个多模态情感计算下游任务上取得了state-of-the-art的结果。具体提升幅度未知，但论文强调其性能超越了现有方法，证明了该框架在解决语义失衡和失配问题上的有效性。

🎯 应用场景

SemanticMAC框架可应用于人机交互、情感分析、智能客服、心理健康评估等领域。通过准确理解人类情感，机器可以提供更个性化、更贴心的服务，例如在智能客服中识别用户的情绪状态，从而提供更有效的帮助；在心理健康评估中，辅助医生进行诊断。

📄 摘要（原文）

In the pathway toward Artificial General Intelligence (AGI), understanding human's affection is essential to enhance machine's cognition abilities. For achieving more sensual human-AI interaction, Multimodal Affective Computing (MAC) in human-spoken videos has attracted increasing attention. However, previous methods are mainly devoted to designing multimodal fusion algorithms, suffering from two issues: semantic imbalance caused by diverse pre-processing operations and semantic mismatch raised by inconsistent affection content contained in different modalities comparing with the multimodal ground truth. Besides, the usage of manual features extractors make they fail in building end-to-end pipeline for multiple MAC downstream tasks. To address above challenges, we propose a novel end-to-end framework named SemanticMAC to compute multimodal semantic-centric affection for human-spoken videos. We firstly employ pre-trained Transformer model in multimodal data pre-processing and design Affective Perceiver module to capture unimodal affective information. Moreover, we present a semantic-centric approach to unify multimodal representation learning in three ways, including gated feature interaction, multi-task pseudo label generation, and intra-/inter-sample contrastive learning. Finally, SemanticMAC effectively learn specific- and shared-semantic representations in the guidance of semantic-centric labels. Extensive experimental results demonstrate that our approach surpass the state-of-the-art methods on 7 public datasets in four MAC downstream tasks.