Feature-Based Dual Visual Feature Extraction Model for Compound Multimodal Emotion Recognition

📄 arXiv: 2503.17453v1 📥 PDF

作者: Ran Liu, Fengyu Zhang, Cong Yu, Longjiang Yang, Zhuofan Wen, Siyuan Zhang, Hailiang Yao, Shun Chen, Zheng Lian, Bin Liu

分类: cs.CV

发布日期: 2025-03-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出融合ViT和ResNet特征的双视觉特征提取模型，提升复杂场景下多模态情感识别性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 视觉特征提取 Vision Transformer 残差网络 特征融合 复合情感 人机交互

📋 核心要点

  1. 现实场景下复合情感识别面临不确定性和模态冲突，现有方法难以有效应对复杂视听线索。
  2. 提出融合ViT和ResNet特征的双视觉特征提取模型，旨在更全面地捕捉视觉信息，提升情感识别精度。
  3. 在C-EXPR-DB等数据集上的实验表明，该模型在复杂场景下表现出更优越的性能。

📝 摘要（中文）

本文介绍了第八届野外情感行为分析(ABAW)竞赛的结果。多模态情感识别(ER)在情感计算和人机交互中具有重要的应用。然而，在现实世界中，复合情感识别面临着更大的不确定性和模态冲突问题。针对复合表情(CE)识别挑战，本文提出了一种融合Vision Transformer (ViT)和残差网络(ResNet)特征的多模态情感识别方法。我们在C-EXPR-DB和MELD数据集上进行了实验。结果表明，在具有复杂视觉和音频线索的场景(如C-EXPR-DB)中，融合ViT和ResNet特征的模型表现出更优越的性能。代码可在https://github.com/MyGitHub-ax/8th_ABAW 获取。

🔬 方法详解

问题定义：论文旨在解决复杂场景下多模态情感识别中的不确定性和模态冲突问题。现有方法在处理具有复杂视觉和音频线索的数据时，情感识别的准确率较低，无法充分利用多模态信息。

核心思路：论文的核心思路是融合Vision Transformer (ViT)和残差网络(ResNet)提取的视觉特征，从而更全面地捕捉图像中的情感信息。ViT擅长捕捉全局信息，而ResNet擅长提取局部细节，二者结合可以优势互补。

技术框架：整体框架包含视觉特征提取、音频特征提取和多模态融合三个主要阶段。首先，使用ViT和ResNet分别提取图像的视觉特征。然后，提取音频特征（具体提取方法未知）。最后，将视觉和音频特征进行融合，用于情感分类。

关键创新：论文的关键创新在于双视觉特征提取模型，即同时使用ViT和ResNet提取视觉特征并进行融合。这种方法能够更全面地捕捉图像中的情感信息，从而提高情感识别的准确率。与仅使用单一视觉特征提取器的方法相比，该方法能够更好地应对复杂场景下的情感识别挑战。

关键设计：论文中关于ViT和ResNet的具体配置、融合方式以及损失函数等技术细节描述不足，属于未知信息。但可以推测，可能使用了预训练的ViT和ResNet模型，并通过某种方式（如拼接、加权平均等）将二者提取的特征进行融合。损失函数可能使用了交叉熵损失函数。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在C-EXPR-DB数据集上，融合ViT和ResNet特征的模型表现出更优越的性能，证明了该方法在处理复杂视觉和音频线索场景下的有效性。具体的性能指标和提升幅度未知，需要在论文中进一步查找。

🎯 应用场景

该研究成果可应用于情感计算、人机交互、智能客服、心理健康监测等领域。通过准确识别用户的情感状态，可以改善人机交互体验，提供个性化的服务，并为心理健康评估提供客观依据。未来，该技术有望在智能机器人、虚拟助手等领域发挥更大的作用。

📄 摘要（原文）

This article presents our results for the eighth Affective Behavior Analysis in-the-wild (ABAW) competition.Multimodal emotion recognition (ER) has important applications in affective computing and human-computer interaction. However, in the real world, compound emotion recognition faces greater issues of uncertainty and modal conflicts. For the Compound Expression (CE) Recognition Challenge,this paper proposes a multimodal emotion recognition method that fuses the features of Vision Transformer (ViT) and Residual Network (ResNet). We conducted experiments on the C-EXPR-DB and MELD datasets. The results show that in scenarios with complex visual and audio cues (such as C-EXPR-DB), the model that fuses the features of ViT and ResNet exhibits superior performance.Our code are avalible on https://github.com/MyGitHub-ax/8th_ABAW