Mamba-VA: A Mamba-based Approach for Continuous Emotion Recognition in Valence-Arousal Space

📄 arXiv: 2503.10104v1 📥 PDF

作者: Yuheng Liang, Zheyu Wang, Feng Liu, Mingzhou Liu, Yu Yao

分类: cs.CV

发布日期: 2025-03-13

备注: 6 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出Mamba-VA模型，利用Mamba架构进行连续情感识别，提升Valence-Arousal空间的情感建模能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 连续情感识别 Mamba架构 Valence-Arousal空间 长序列建模 时间卷积网络

📋 核心要点

  1. 现有连续情感识别方法难以有效处理长期依赖关系，限制了对复杂时间动态的建模能力。
  2. Mamba-VA模型利用Mamba架构，结合MAE和TCN，实现对视频帧序列中情感变化的有效建模。
  3. 实验结果表明，Mamba-VA在ABAW竞赛的VA估计任务上优于基线，验证了其有效性。

📝 摘要（中文）

连续情感识别(CER)在智能人机交互、心理健康监测和自动驾驶中起着关键作用。基于Valence-Arousal (VA)空间的情感建模能够更细致地表示情感状态。然而，现有方法在处理长期依赖关系和捕捉复杂的时间动态方面仍然面临挑战。为了解决这些问题，本文提出了一种新的情感识别模型Mamba-VA，该模型利用Mamba架构有效地建模视频帧中的连续情感变化。首先，该模型采用掩码自动编码器(MAE)从视频帧中提取深度视觉特征，增强时间信息的鲁棒性。然后，利用时间卷积网络(TCN)进行时间建模，以捕获局部时间依赖关系。随后，应用Mamba进行长序列建模，从而能够学习全局情感趋势。最后，一个全连接(FC)层执行回归分析以预测连续的valence和arousal值。在第八届野外情感行为分析竞赛(ABAW)的Valence-Arousal (VA)估计任务上的实验结果表明，所提出的模型在验证(测试)集上分别实现了0.5362 (0.5036)和0.4310 (0.4119)的valence和arousal分数，优于基线。

🔬 方法详解

问题定义：论文旨在解决连续情感识别（CER）中，现有方法难以有效捕捉长期时间依赖关系和复杂时间动态的问题。现有方法在处理长序列情感变化时，往往会丢失重要的全局信息，导致情感识别的准确性下降。

核心思路：论文的核心思路是利用Mamba架构的优势，Mamba架构在处理长序列数据时具有高效性和选择性状态空间模型的特性，能够更好地捕捉全局情感趋势。通过结合MAE提取视觉特征和TCN捕捉局部时间依赖，Mamba-VA模型能够更全面地建模情感变化。

技术框架：Mamba-VA模型主要包含三个模块：1) Masked Autoencoder (MAE)：用于从视频帧中提取深度视觉特征，增强时间信息的鲁棒性。2) Temporal Convolutional Network (TCN)：用于时间建模，捕获局部时间依赖关系。3) Mamba：用于长序列建模，学习全局情感趋势。最后，使用一个全连接层(FC)进行回归分析，预测连续的valence和arousal值。

关键创新：该论文的关键创新在于将Mamba架构引入到连续情感识别任务中。与传统的RNN或Transformer模型相比，Mamba具有更高的计算效率和更好的长序列建模能力。通过选择性状态空间模型，Mamba能够动态地选择和更新状态信息，从而更好地捕捉情感变化的全局趋势。

关键设计：MAE采用标准的掩码图像建模方法，TCN采用因果卷积以避免未来信息泄露。Mamba模块的具体参数设置（如状态维度、选择性扫描步长等）未知，论文中可能未详细描述。损失函数采用均方误差（MSE）损失函数，用于回归预测valence和arousal值。

📊 实验亮点

Mamba-VA模型在ABAW竞赛的VA估计任务上取得了显著的成果，在验证集上valence和arousal分数分别为0.5362和0.4310，在测试集上valence和arousal分数分别为0.5036和0.4119。实验结果表明，Mamba-VA模型优于基线方法，验证了其在连续情感识别任务中的有效性。

🎯 应用场景

Mamba-VA模型在智能人机交互、心理健康监测和自动驾驶等领域具有广泛的应用前景。例如，在智能客服中，可以利用该模型识别用户的情绪状态，从而提供更个性化的服务。在心理健康监测中，可以利用该模型分析患者的情绪变化，辅助医生进行诊断和治疗。在自动驾驶中，可以利用该模型识别驾驶员的情绪状态，提高驾驶安全性。

📄 摘要（原文）

Continuous Emotion Recognition (CER) plays a crucial role in intelligent human-computer interaction, mental health monitoring, and autonomous driving. Emotion modeling based on the Valence-Arousal (VA) space enables a more nuanced representation of emotional states. However, existing methods still face challenges in handling long-term dependencies and capturing complex temporal dynamics. To address these issues, this paper proposes a novel emotion recognition model, Mamba-VA, which leverages the Mamba architecture to efficiently model sequential emotional variations in video frames. First, the model employs a Masked Autoencoder (MAE) to extract deep visual features from video frames, enhancing the robustness of temporal information. Then, a Temporal Convolutional Network (TCN) is utilized for temporal modeling to capture local temporal dependencies. Subsequently, Mamba is applied for long-sequence modeling, enabling the learning of global emotional trends. Finally, a fully connected (FC) layer performs regression analysis to predict continuous valence and arousal values. Experimental results on the Valence-Arousal (VA) Estimation task of the 8th competition on Affective Behavior Analysis in-the-wild (ABAW) demonstrate that the proposed model achieves valence and arousal scores of 0.5362 (0.5036) and 0.4310 (0.4119) on the validation (test) set, respectively, outperforming the baseline. The source code is available on GitHub:https://github.com/FreedomPuppy77/Charon.