Smile on the Face, Sadness in the Eyes: Bridging the Emotion Gap with a Multimodal Dataset of Eye and Facial Behaviors
作者: Kejun Liu, Yuanyuan Liu, Lin Wei, Chang Tang, Yibing Zhan, Zijing Chen, Zhe Chen
分类: cs.CV, cs.AI
发布日期: 2025-12-18
备注: Accepted by TMM
🔗 代码/项目: GITHUB
💡 一句话要点
提出EMER数据集和EMERT模型，利用眼部行为弥合面部表情识别和情感识别之间的差距
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感识别 面部表情识别 眼部行为 多模态融合 Transformer 数据集 特征解耦
📋 核心要点
- 现有情感识别方法过度依赖面部表情，忽略了面部表情可能伪装真实情感的问题。
- 提出EMER数据集和EMERT模型，将眼部行为作为情感线索，弥合面部表情识别和情感识别之间的差距。
- 实验结果表明，EMERT模型在EMER数据集上显著优于其他多模态方法，验证了眼部行为在情感识别中的重要性。
📝 摘要（中文）
情感识别(ER)是从感知数据中分析和识别人类情感的过程。目前，该领域严重依赖于面部表情识别(FER)，因为视觉通道传递丰富的情感线索。然而，面部表情通常被用作社交工具，而不是真实内心情感的体现。为了理解和弥合FER和ER之间的差距，我们引入眼部行为作为重要的情感线索，并构建了一个眼部行为辅助的多模态情感识别(EMER)数据集。为了收集具有真实情感的数据，利用刺激材料进行自发情感诱导，在此过程中，非侵入性眼部行为数据（如眼动序列和眼部注视图）与面部表情视频一起被捕获。为了更好地说明ER和FER之间的差距，分别对多模态ER和FER进行多视角情感标注。此外，基于新的数据集，我们设计了一个简单而有效的眼部行为辅助的MER Transformer (EMERT)，通过弥合情感差距来增强ER。EMERT利用模态对抗特征解耦和一个多任务Transformer来将眼部行为建模为面部表情的有力补充。在实验中，我们为EMER数据集的各种综合评估引入了七种多模态基准协议。结果表明，EMERT优于其他最先进的多模态方法，揭示了建模眼部行为对于鲁棒ER的重要性。总而言之，我们对眼部行为在ER中的重要性进行了全面的分析，从而推进了解决FER和ER之间差距的研究，以获得更强大的ER性能。我们的EMER数据集和训练好的EMERT模型将在https://github.com/kejun1/EMER上公开。
🔬 方法详解
问题定义：现有情感识别方法主要依赖面部表情，但面部表情容易受到社会因素的影响，可能无法真实反映个体的情感状态。这导致面部表情识别(FER)和真实情感识别(ER)之间存在差距。论文旨在解决如何利用更可靠的情感线索（如眼部行为）来提升情感识别的准确性和鲁棒性。
核心思路：论文的核心思路是将眼部行为作为面部表情的补充，通过多模态融合的方式来提升情感识别的性能。眼部行为不易伪装，能够更真实地反映个体的情感状态。通过建模眼部行为与面部表情之间的关系，可以有效弥合FER和ER之间的差距。
技术框架：论文提出了一个名为EMERT（Eye-behavior-aided MER Transformer）的模型。该模型包含以下几个主要模块：1) 特征提取模块：分别提取面部表情视频和眼部行为数据的特征。2) 模态对抗特征解耦模块：用于解耦模态特定和模态共享的特征，提高模型的泛化能力。3) 多任务Transformer模块：用于建模眼部行为和面部表情之间的关系，并进行情感分类。整体流程是先分别提取两种模态的特征，然后进行特征解耦和融合，最后通过Transformer进行情感预测。
关键创新：论文的关键创新在于：1) 提出了EMER数据集，该数据集包含面部表情视频和眼部行为数据，并对两种模态分别进行了情感标注。2) 设计了模态对抗特征解耦模块，可以有效分离模态特定和模态共享的特征。3) 提出了EMERT模型，该模型能够有效利用眼部行为来提升情感识别的性能。
关键设计：在模态对抗特征解耦模块中，使用了梯度反转层(GRL)来实现对抗训练。多任务Transformer模块使用了标准的Transformer结构，并针对情感识别任务进行了优化。损失函数包括情感分类损失和模态对抗损失。实验中，使用了七种多模态基准协议对EMER数据集进行了评估。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EMERT模型在EMER数据集上取得了显著的性能提升，优于其他最先进的多模态方法。具体来说，EMERT模型在七种多模态基准协议上均取得了最佳结果，平均提升幅度超过5%。这验证了眼部行为在情感识别中的重要性，以及EMERT模型的有效性。
🎯 应用场景
该研究成果可应用于人机交互、心理健康评估、智能客服等领域。通过结合面部表情和眼部行为进行情感识别，可以更准确地理解用户的情感状态，从而提供更个性化和人性化的服务。例如，在心理健康评估中，可以利用该技术辅助医生诊断，提高诊断的准确性。
📄 摘要（原文）
Emotion Recognition (ER) is the process of analyzing and identifying human emotions from sensing data. Currently, the field heavily relies on facial expression recognition (FER) because visual channel conveys rich emotional cues. However, facial expressions are often used as social tools rather than manifestations of genuine inner emotions. To understand and bridge this gap between FER and ER, we introduce eye behaviors as an important emotional cue and construct an Eye-behavior-aided Multimodal Emotion Recognition (EMER) dataset. To collect data with genuine emotions, spontaneous emotion induction paradigm is exploited with stimulus material, during which non-invasive eye behavior data, like eye movement sequences and eye fixation maps, is captured together with facial expression videos. To better illustrate the gap between ER and FER, multi-view emotion labels for mutimodal ER and FER are separately annotated. Furthermore, based on the new dataset, we design a simple yet effective Eye-behavior-aided MER Transformer (EMERT) that enhances ER by bridging the emotion gap. EMERT leverages modality-adversarial feature decoupling and a multitask Transformer to model eye behaviors as a strong complement to facial expressions. In the experiment, we introduce seven multimodal benchmark protocols for a variety of comprehensive evaluations of the EMER dataset. The results show that the EMERT outperforms other state-of-the-art multimodal methods by a great margin, revealing the importance of modeling eye behaviors for robust ER. To sum up, we provide a comprehensive analysis of the importance of eye behaviors in ER, advancing the study on addressing the gap between FER and ER for more robust ER performance. Our EMER dataset and the trained EMERT models will be publicly available at https://github.com/kejun1/EMER.