Enhancing Multimodal Emotion Recognition via Multi-Feature Encoding and Attention-Based Fusion

📄 arXiv: 2609.04690v1 📥 PDF

作者: Xu Lin, Ke Wang, Hui Kang, Xinying Wang

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-09-04

备注: 15 pages, 6 figures, 6 tables. Pre-peer-review version. The final published version appears in ICONIP 2025, Lecture Notes in Computer Science, vol. 16312, pp. 142-157 (2026)

期刊: Neural Information Processing (ICONIP 2025), Lecture Notes in Computer Science, vol. 16312, pp. 142-157. Springer, Singapore (2026)

DOI: 10.1007/978-981-95-4384-7_11

💡 一句话要点

提出多特征编码与注意力融合以增强多模态情感识别

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 特征融合 注意力机制 深度学习 音频特征 视频特征 时空特征 人机交互

📋 核心要点

  1. 现有多模态情感识别方法在特征提取和融合方面存在不足，难以有效捕捉多样化的情感线索。
  2. 本文提出了一种结合音频和视频特征的多模态情感识别框架，采用注意力机制进行特征融合，以提高模型的表现。
  3. 在MELD和IEMOCAP数据集上的实验表明，该模型在准确性和鲁棒性上显著优于现有基线，尤其在不平衡数据设置下表现突出。

📝 摘要（中文）

多模态情感识别因其在人与计算机交互、远程教育和医疗保健中的重要性而受到越来越多的关注。本文提出了一种新颖的多模态情感识别框架，结合了丰富的音频和视觉特征提取以及基于注意力的融合策略。音频方面，我们提取了三种互补特征类型：来自Wav2Vec2的语义嵌入、MFCC特征和统计声学描述符（如音高、能量和节奏）。这些特征通过BiLSTM对齐和融合，以捕捉时间依赖性。视频方面，我们提出了一种ResNet50-BiLSTM架构，结合深度残差学习和序列建模，从面部序列中提取表现力丰富的时空特征。为了增强多模态协同，我们引入了一种基于多头注意力的特征级融合机制，使模型能够自适应地加权各模态的贡献。实验结果表明，我们的模型在准确性和鲁棒性上显著优于基线方法。

🔬 方法详解

问题定义：本文旨在解决多模态情感识别中现有方法在特征提取和融合方面的不足，特别是在捕捉多样化情感线索时的挑战。

核心思路：论文提出了一种新颖的框架，通过结合音频和视频的多特征提取与基于注意力的融合策略，增强多模态情感识别的效果。这样的设计使得模型能够自适应地加权不同模态的贡献，从而提高整体性能。

技术框架：整体架构包括音频特征提取（使用Wav2Vec2、MFCC和声学描述符）、视频特征提取（采用ResNet50-BiLSTM架构）和特征级融合（基于多头注意力机制）。音频和视频特征通过BiLSTM进行对齐和融合，以捕捉时间依赖性。

关键创新：最重要的技术创新在于引入了基于多头注意力的特征级融合机制，使得模型能够动态调整不同模态的特征权重，从而有效提升了情感识别的准确性和鲁棒性。

关键设计：在参数设置上，采用了适合多模态特征的损失函数，并设计了深度残差学习与序列建模相结合的网络结构，以提取更丰富的时空特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的模型在MELD和IEMOCAP数据集上显著优于基线方法，准确率提升幅度达到XX%。此外，注意力融合策略在不平衡数据设置下的表现尤为突出，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、情感计算、远程教育和医疗保健等。通过有效识别和理解用户的情感状态，系统能够提供更个性化的服务，提升用户体验。未来，该框架有望在智能助手、在线教育平台和心理健康监测等场景中发挥重要作用。

📄 摘要（原文）

Multimodal emotion recognition has attracted growing interest due to its importance in human-computer interaction, remote education, and healthcare. This paper proposes a novel multimodal emotion recognition framework that integrates rich audio and visual feature extraction with an attention-based fusion strategy. For audio, we extract three complementary feature types: semantic embeddings from Wav2Vec2, MFCC features, and statistical acoustic descriptors such as pitch, energy, and rhythm. These are aligned and fused via a BiLSTM to capture temporal dependencies. For video, we propose a ResNet50-BiLSTM architecture that combines deep residual learning and sequential modeling to extract expressive spatiotemporal features from facial sequences. To enhance multimodal synergy, we introduce a feature-level fusion mechanism based on multi-head attention, allowing the model to adaptively weigh contributions across modalities. Experiments conducted on the MELD and IEMOCAP datasets demonstrate that our model significantly outperforms baselines in both accuracy and robustness. Furthermore, ablation studies show that the attention-based fusion strategy significantly improves performance in unbalanced data settings. Our findings suggest that the proposed framework effectively captures diverse emotional cues from speech and visual expressions, and offers a practical and generalizable approach for real-world multimodal emotion recognition tasks.