The MuSe 2024 Multimodal Sentiment Analysis Challenge: Social Perception and Humor Recognition

📄 arXiv: 2406.07753v1 📥 PDF

作者: Shahin Amiriparian, Lukas Christ, Alexander Kathan, Maurice Gerczuk, Niklas Müller, Steffen Klug, Lukas Stappen, Andreas König, Erik Cambria, Björn Schuller, Simone Eulitz

分类: cs.AI, cs.CL

发布日期: 2024-06-11

💡 一句话要点

MuSe 2024挑战赛：多模态情感分析，关注社会感知与幽默识别

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 社会感知 幽默识别 Transformer GRU-RNN

📋 核心要点

  1. 现有情感分析方法在理解细粒度社会属性和跨文化幽默方面存在挑战，缺乏对多模态信息的有效利用。
  2. MuSe 2024挑战赛旨在通过提供标准数据集和评估框架，促进多模态情感分析在社会感知和幽默识别方面的研究。
  3. 基线系统采用Transformer和专家设计的特征，结合GRU-RNN模型，在两个子挑战中取得了具有竞争力的性能。

📝 摘要（中文）

2024年多模态情感分析挑战赛（MuSe）关注两个当代多模态情感分析问题：社会感知子挑战（MuSe-Perception）要求参赛者基于提供的视听数据预测个体16种不同的社会属性，如自信、支配、受欢迎程度和真诚度。跨文化幽默检测子挑战（MuSe-Humor）数据集扩展了帕绍自发足球教练幽默（Passau-SFCH）数据集，侧重于在跨语言和跨文化环境中检测自发幽默。MuSe 2024的主要目标是联合来自多模态情感分析、视听情感计算、连续信号处理和自然语言处理等不同研究领域的广泛受众。通过促进这些领域专家之间的合作和交流，MuSe 2024致力于推进跨多种模态的情感分析和情感计算的理解和应用。该基线论文提供了每个子挑战及其相应数据集的详细信息、从每个数据模态中提取的特征，并讨论了挑战基线。对于我们的基线系统，我们利用了一系列Transformer和专家设计的特征，并在其上训练门控循环单元（GRU）-循环神经网络（RNN）模型，从而产生了一个有竞争力的基线系统。在各个子挑战的未见测试数据集上，它在MuSe-Perception上实现了0.3573的平均皮尔逊相关系数（$ρ$），在MuSe-Humor上实现了0.8682的曲线下面积（AUC）值。

🔬 方法详解

问题定义：论文旨在解决多模态情感分析中两个具体问题：一是社会感知，即如何准确预测个体的多种社会属性（如自信、支配性等）；二是跨文化幽默检测，即如何在不同语言和文化背景下识别自发幽默。现有方法在处理复杂的多模态交互和社会文化差异方面存在不足，难以准确捕捉细微的情感和社会信号。

核心思路：论文的核心思路是利用多模态信息融合的优势，结合深度学习模型和专家设计的特征，提升社会属性预测和幽默检测的准确性。通过Transformer模型提取模态内的特征，并利用GRU-RNN模型学习模态间的时序关系，从而更好地理解情感和社会表达。

技术框架：整体框架包含两个子挑战：MuSe-Perception和社会感知属性预测，以及MuSe-Humor和跨文化幽默检测。每个子挑战都包含数据集准备、特征提取、模型训练和评估等阶段。基线系统首先从视听数据中提取特征，然后使用Transformer模型进行特征编码，最后使用GRU-RNN模型进行预测。

关键创新：论文的关键创新在于结合了Transformer模型和专家设计的特征，并将其应用于社会感知和跨文化幽默检测。Transformer模型能够有效地捕捉模态内的长程依赖关系，而专家设计的特征则能够提供领域知识，从而提升模型的性能。此外，跨文化幽默检测子挑战的数据集本身也是一个创新点，为研究跨文化情感表达提供了资源。

关键设计：在模型设计方面，采用了Transformer模型进行特征编码，并使用GRU-RNN模型进行时序建模。损失函数根据具体的子挑战而定，例如，社会感知属性预测通常使用均方误差或皮尔逊相关系数作为损失函数，而幽默检测则使用交叉熵损失函数。GRU-RNN模型的隐藏层大小、学习率等超参数需要根据实验结果进行调整。

📊 实验亮点

基线系统在MuSe-Perception子挑战中取得了0.3573的平均皮尔逊相关系数，在MuSe-Humor子挑战中取得了0.8682的AUC值。这些结果表明，结合Transformer和GRU-RNN模型能够有效地处理多模态情感分析任务，并为未来的研究提供了有价值的参考。

🎯 应用场景

该研究成果可应用于社交机器人、虚拟助手、心理健康评估、市场调研等领域。通过准确识别个体的情感和社会属性，可以提升人机交互的自然性和有效性。跨文化幽默检测技术有助于开发更具文化敏感性的AI系统，促进跨文化交流和理解。

📄 摘要（原文）

The Multimodal Sentiment Analysis Challenge (MuSe) 2024 addresses two contemporary multimodal affect and sentiment analysis problems: In the Social Perception Sub-Challenge (MuSe-Perception), participants will predict 16 different social attributes of individuals such as assertiveness, dominance, likability, and sincerity based on the provided audio-visual data. The Cross-Cultural Humor Detection Sub-Challenge (MuSe-Humor) dataset expands upon the Passau Spontaneous Football Coach Humor (Passau-SFCH) dataset, focusing on the detection of spontaneous humor in a cross-lingual and cross-cultural setting. The main objective of MuSe 2024 is to unite a broad audience from various research domains, including multimodal sentiment analysis, audio-visual affective computing, continuous signal processing, and natural language processing. By fostering collaboration and exchange among experts in these fields, the MuSe 2024 endeavors to advance the understanding and application of sentiment analysis and affective computing across multiple modalities. This baseline paper provides details on each sub-challenge and its corresponding dataset, extracted features from each data modality, and discusses challenge baselines. For our baseline system, we make use of a range of Transformers and expert-designed features and train Gated Recurrent Unit (GRU)-Recurrent Neural Network (RNN) models on them, resulting in a competitive baseline system. On the unseen test datasets of the respective sub-challenges, it achieves a mean Pearson's Correlation Coefficient ($ρ$) of 0.3573 for MuSe-Perception and an Area Under the Curve (AUC) value of 0.8682 for MuSe-Humor.