MicroEmo: Time-Sensitive Multimodal Emotion Recognition with Micro-Expression Dynamics in Video Dialogues

📄 arXiv: 2407.16552v2 📥 PDF

作者: Liyun Zhang

分类: cs.CV, cs.MM

发布日期: 2024-07-23 (更新: 2024-07-24)

💡 一句话要点

MicroEmo：针对视频对话中微表情动态的时间敏感多模态情感识别模型

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 微表情分析 时间序列建模 上下文依赖 视频理解

📋 核心要点

  1. 现有方法在多模态情感识别中忽略了微表情的时序动态和话语上下文依赖，限制了识别效果。
  2. MicroEmo通过全局-局部注意力编码器和话语感知Q-Former，关注微表情动态和上下文依赖。
  3. 初步实验表明，MicroEmo在可解释多模态情感识别任务中，相较于现有方法表现出更强的有效性。

📝 摘要（中文）

多模态大型语言模型(MLLM)在多模态情感识别方面表现出卓越的能力，能够整合视频中的视觉、听觉和语言信息来识别人类的情感状态。然而，现有方法忽略了捕捉微表情时序动态的局部面部特征，并且没有充分利用视频中与话语相关的时序片段的上下文依赖关系，从而在一定程度上限制了其有效性。本文提出了MicroEmo，一种时间敏感的MLLM，旨在关注局部面部微表情动态和与话语相关的视频片段的上下文依赖关系。我们的模型包含两个关键的架构贡献：(1)一个全局-局部注意力视觉编码器，它将全局帧级别的、时间戳绑定的图像特征与微表情时序动态的局部面部特征相结合；(2)一个话语感知的视频Q-Former，通过为每个话语片段和整个视频生成视觉token序列，然后将它们组合起来，从而捕获多尺度和上下文依赖关系。初步的定性实验表明，在新的可解释多模态情感识别(EMER)任务中，该任务利用多模态和多方面的线索以开放词汇(OV)的方式预测情感，MicroEmo与最新的方法相比，展示了其有效性。

🔬 方法详解

问题定义：现有方法在视频对话情感识别中，未能充分利用面部微表情的时序动态信息，并且忽略了不同话语片段之间的上下文依赖关系。这导致模型无法准确捕捉细微的情感变化，从而影响了情感识别的准确性。

核心思路：MicroEmo的核心思路是设计一个时间敏感的多模态模型，该模型能够同时关注全局的视频帧信息和局部的微表情动态，并能够建模不同话语片段之间的上下文关系。通过这种方式，模型可以更全面地理解视频中的情感表达。

技术框架：MicroEmo的整体架构包含两个主要模块：全局-局部注意力视觉编码器和话语感知的视频Q-Former。全局-局部注意力视觉编码器负责提取视频帧的全局特征和微表情的局部特征。话语感知的视频Q-Former负责生成每个话语片段和整个视频的视觉token序列，并利用这些序列来建模上下文依赖关系。

关键创新：MicroEmo的关键创新在于其全局-局部注意力视觉编码器和话语感知的视频Q-Former的设计。全局-局部注意力视觉编码器能够有效地融合全局和局部特征，从而更好地捕捉微表情的动态信息。话语感知的视频Q-Former能够有效地建模不同话语片段之间的上下文关系，从而更好地理解视频中的情感表达。

关键设计：全局-局部注意力视觉编码器使用Transformer结构，通过自注意力机制来融合全局和局部特征。话语感知的视频Q-Former使用Q-Former结构，通过学习查询向量来生成视觉token序列。损失函数包括情感分类损失和对比学习损失，用于提高模型的判别能力和泛化能力。

🖼️ 关键图片

fig_0

📊 实验亮点

MicroEmo在可解释多模态情感识别(EMER)任务上进行了评估，该任务需要模型以开放词汇的方式预测情感。初步的定性实验表明，MicroEmo相较于最新的方法，能够更有效地捕捉微表情动态和上下文依赖关系，从而提高了情感识别的准确性。具体的性能提升数据未知，但结果表明MicroEmo具有良好的潜力。

🎯 应用场景

MicroEmo在人机交互、心理健康评估、市场营销等领域具有广泛的应用前景。例如，在人机交互中，MicroEmo可以帮助机器人更好地理解人类的情感，从而提供更自然、更个性化的服务。在心理健康评估中，MicroEmo可以帮助医生更准确地诊断患者的情感障碍。在市场营销中，MicroEmo可以帮助企业更好地了解消费者的情感需求，从而制定更有效的营销策略。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have demonstrated remarkable multimodal emotion recognition capabilities, integrating multimodal cues from visual, acoustic, and linguistic contexts in the video to recognize human emotional states. However, existing methods ignore capturing local facial features of temporal dynamics of micro-expressions and do not leverage the contextual dependencies of the utterance-aware temporal segments in the video, thereby limiting their expected effectiveness to a certain extent. In this work, we propose MicroEmo, a time-sensitive MLLM aimed at directing attention to the local facial micro-expression dynamics and the contextual dependencies of utterance-aware video clips. Our model incorporates two key architectural contributions: (1) a global-local attention visual encoder that integrates global frame-level timestamp-bound image features with local facial features of temporal dynamics of micro-expressions; (2) an utterance-aware video Q-Former that captures multi-scale and contextual dependencies by generating visual token sequences for each utterance segment and for the entire video then combining them. Preliminary qualitative experiments demonstrate that in a new Explainable Multimodal Emotion Recognition (EMER) task that exploits multi-modal and multi-faceted clues to predict emotions in an open-vocabulary (OV) manner, MicroEmo demonstrates its effectiveness compared with the latest methods.