Semantic Matters: Multimodal Features for Affective Analysis

📄 arXiv: 2504.11460v2 📥 PDF

作者: Tobias Hallmen, Robin-Nico Kampa, Fabian Deuser, Norbert Oswald, Elisabeth André

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-03-16 (更新: 2025-04-18)

💡 一句话要点

提出融合语音、文本和视觉模态的多模态情感分析方法，提升情感识别精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 多模态融合 语音识别 文本理解 视觉特征 深度学习 Wav2Vec 2.0

📋 核心要点

  1. 现有情感分析方法通常依赖单一模态，忽略了多模态信息融合的重要性，限制了识别精度。
  2. 论文提出一种多模态融合框架，结合语音、文本和视觉信息，利用深度学习模型提取并整合特征。
  3. 实验结果表明，该方法在EMI和BAH任务上均取得了显著提升，验证了多模态融合的有效性。

📝 摘要（中文）

本研究提出了用于情感模仿强度（EMI）估计和行为矛盾/犹豫（BAH）识别任务的方法，这两个任务均属于第八届野外情感与行为分析研讨会暨竞赛的一部分。我们利用在大型播客数据集上预训练的Wav2Vec 2.0模型提取各种音频特征，捕捉语言和超语言信息。我们的方法结合了从Wav2Vec 2.0导出的效价-唤醒度-支配度（VAD）模块、BERT文本编码器和视觉Transformer（ViT），并通过长短期记忆（LSTM）架构或卷积类方法对预测结果进行时间建模。我们整合了文本和视觉模态进行分析，认识到语义内容提供了有价值的上下文线索，并强调语音的含义通常比其声学对应物传达更重要的见解。在某些情况下，融合视觉模态有助于更精确地解释文本模态。这种组合方法带来了显著的性能提升，在EMI挑战中获得了$ρ_{ ext{TEST}} = 0.706$，在BAH挑战中获得了$F1_{ ext{TEST}} = 0.702$，分别获得了EMI挑战的第一名和BAH挑战的第二名。

🔬 方法详解

问题定义：论文旨在解决情感模仿强度（EMI）估计和行为矛盾/犹豫（BAH）识别问题。现有方法通常侧重于单一模态（如语音或文本），忽略了不同模态之间的互补信息，导致情感识别的准确性受限。此外，现有方法在处理野外（in-the-wild）数据时，鲁棒性可能不足，难以应对复杂多变的环境因素。

核心思路：论文的核心思路是利用多模态信息融合，即同时考虑语音、文本和视觉信息，以更全面地理解情感表达。通过将不同模态的信息进行整合，可以弥补单一模态的不足，提高情感识别的准确性和鲁棒性。论文认为，语义内容（文本）提供了重要的上下文线索，而视觉信息可以帮助更精确地理解文本的含义。

技术框架：整体框架包括以下几个主要模块：1) 音频特征提取：使用预训练的Wav2Vec 2.0模型提取语音的语言和超语言特征，并从中提取VAD（效价-唤醒度-支配度）信息。2) 文本特征提取：使用BERT文本编码器提取文本的语义特征。3) 视觉特征提取：使用视觉Transformer（ViT）提取视觉特征。4) 时间建模：使用LSTM或卷积类方法对提取的特征进行时间建模，捕捉情感表达的时间动态。5) 特征融合与预测：将不同模态的特征进行融合，并使用分类器或回归器进行情感识别或强度估计。

关键创新：论文的关键创新在于多模态融合策略。与以往侧重于单一模态或简单融合的方法不同，该论文强调了语义内容的重要性，并利用视觉信息辅助理解文本含义。此外，论文还探索了不同的时间建模方法，以捕捉情感表达的时间动态。

关键设计：在音频特征提取方面，使用了在大型播客数据集上预训练的Wav2Vec 2.0模型，以获得更丰富的语音特征。在时间建模方面，尝试了LSTM和卷积类方法，并根据具体任务选择最佳方案。在特征融合方面，具体融合方式未知，但强调了文本和视觉模态的互补作用。损失函数和网络结构的具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在情感模仿强度（EMI）估计挑战中取得了第一名，测试集上的相关系数达到0.706。在行为矛盾/犹豫（BAH）识别挑战中获得了第二名，测试集上的F1值为0.702。这些结果表明，该方法在情感识别任务中具有很强的竞争力，显著优于其他参赛队伍。

🎯 应用场景

该研究成果可应用于人机交互、情感计算、心理健康评估等领域。例如，可以开发更智能的虚拟助手，能够理解用户的情感状态并做出相应的回应。此外，该技术还可以用于心理疾病的早期诊断和干预，通过分析患者的语音、文本和面部表情来评估其情感状态。

📄 摘要（原文）

In this study, we present our methodology for two tasks: the Emotional Mimicry Intensity (EMI) Estimation Challenge and the Behavioural Ambivalence/Hesitancy (BAH) Recognition Challenge, both conducted as part of the 8th Workshop and Competition on Affective & Behavior Analysis in-the-wild. We utilize a Wav2Vec 2.0 model pre-trained on a large podcast dataset to extract various audio features, capturing both linguistic and paralinguistic information. Our approach incorporates a valence-arousal-dominance (VAD) module derived from Wav2Vec 2.0, a BERT text encoder, and a vision transformer (ViT) with predictions subsequently processed through a long short-term memory (LSTM) architecture or a convolution-like method for temporal modeling. We integrate the textual and visual modality into our analysis, recognizing that semantic content provides valuable contextual cues and underscoring that the meaning of speech often conveys more critical insights than its acoustic counterpart alone. Fusing in the vision modality helps in some cases to interpret the textual modality more precisely. This combined approach results in significant performance improvements, achieving in EMI $ρ_{\text{TEST}} = 0.706$ and in BAH $F1_{\text{TEST}} = 0.702$, securing first place in the EMI challenge and second place in the BAH challenge.