GM-GReFEL: Geometry-Guided Spatiotemporal State-Space Learning for Robust Dynamic Facial Expression Recognition

📄 arXiv: 2610.31140v1 📥 PDF

作者: Yudhistira Arditya Pratama, Yi-Zeng Hsieh

分类: cs.CV, cs.LG

发布日期: 2026-10-22

🔗 代码/项目: GITHUB

💡 一句话要点

提出GM-GReFEL以解决动态人脸表情识别中的噪声标签和计算复杂度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 动态人脸表情识别 几何感知 时空状态空间网络 计算复杂度 众包标签噪声

📋 核心要点

  1. 现有方法在动态人脸表情识别中面临自注意力计算复杂度高和标签噪声问题，影响识别准确性。
  2. GM-GReFEL通过几何感知决策阶段和Modulated GroupMamba主干网络，降低计算成本并提高模型的鲁棒性。
  3. 在DFEW和MAFW数据集上，模型的UAR和WAR表现优异，尤其在DFEW上与最新的大型预训练模型相当。

📝 摘要（中文）

在非约束视频中识别面部表情面临两个耦合问题：随着剪辑长度的增加，自注意力的计算成本呈平方增长，而众包标签往往存在噪声。为此，本文提出了GM-GReFEL，一种具有几何感知决策阶段的时空状态空间网络。其Modulated GroupMamba主干网络替代了时空视觉变换器，采用六个通道组分别扫描，其中四个在帧平面上，两个在时间上，从而使得计算成本随序列长度线性增长。GReFEL可靠性模块将每个预测的归一化熵转化为分类器输出与可训练几何锚点投票之间的混合权重，以增强网络在不确定时对面部几何的重视。实验结果表明，该模型在多个数据集上表现出色。

🔬 方法详解

问题定义：本文旨在解决动态人脸表情识别中的两个主要问题：自注意力计算成本随剪辑长度的平方增长，以及众包标签的噪声影响。这些问题导致现有方法在复杂场景下的表现不佳。

核心思路：GM-GReFEL通过引入几何感知决策模块和Modulated GroupMamba主干网络，旨在降低计算复杂度并提高模型对面部几何信息的敏感性，从而在不确定性较高的情况下做出更可靠的预测。

技术框架：该模型的整体架构包括Modulated GroupMamba主干网络和GReFEL可靠性模块。主干网络通过六个通道组分别处理帧和时间信息，GReFEL模块则根据预测的熵值动态调整分类器输出与几何锚点投票的权重。

关键创新：最重要的创新在于Modulated GroupMamba主干网络的设计，使得计算复杂度从平方级别降低到线性级别，同时引入的GReFEL模块增强了模型在不确定性情况下的表现。

关键设计：模型采用静态到动态的权重转移进行初始化，并使用Triple Loss进行训练。通道亲和调制门在每层后重新混合通道组，确保信息的有效整合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五折交叉验证中，GM-GReFEL在DFEW数据集上达到了66.57% UAR和76.46% WAR，表现接近最强对比方法；在MAFW数据集上，模型的表现优于所有对比方法，显示出显著的性能提升。对DFEW的配对t检验表明，时间建模带来了1.61 UAR点的提升，具有统计学意义。

🎯 应用场景

该研究在动态人脸表情识别领域具有广泛的应用潜力，尤其适用于社交媒体分析、情感计算和人机交互等场景。通过提高模型的鲁棒性和准确性，能够更好地理解和分析人类情感，为相关应用提供更可靠的支持。

📄 摘要（原文）

Recognizing facial expressions in unconstrained video suffers from two coupled problems: self-attention grows quadratically in cost with clip length, and crowdsourced labels are noisy. We present GM-GReFEL, a spatiotemporal state-space network with a geometry-aware decision stage. Its Modulated GroupMamba backbone replaces a spatiotemporal Vision Transformer. Six channel groups are scanned separately, four over the frame plane and two over time, so the cost grows linearly with sequence length ($\mathcal{O}(N)$); after each layer, a Channel Affinity Modulation gate mixes the groups again. On top of the backbone, a GReFEL reliability module turns the normalized entropy of each prediction into a mixing weight between the classifier output and a vote from trainable geometric anchors, so that facial geometry counts for more when the network is unsure. The model is initialized by static-to-dynamic weight transfer and trained with a Triple Loss. In five-fold cross-validation, the best fold scores 66.57\%/76.46\% UAR/WAR on DFEW, 0.3 points or less below the strongest compared method, and 45.66\%/62.27\% on MAFW, ahead of all compared methods; on FERV39k the mean over five splits, 42.30\%/52.66\%, is competitive. The five-fold means are 64.07\%/74.54\% on DFEW, on par with recent large pre-trained models, and 38.90\%/54.37\% on MAFW, below the best of them. A paired $t$-test on DFEW indicates a modest benefit of temporal modeling (+1.61 UAR points, one-sided $p=0.031$). Attention stays on plausible facial regions, and latency is close to a ViT-B/16 baseline (47.4 vs.\ 46.8 ms per clip). Code: https://github.com/ardiytama/GroupMamba-DFER.