Emotion Diffusion Classifier with Adaptive Margin Discrepancy Training for Facial Expression Recognition

📄 arXiv: 2603.29578v1 📥 PDF

作者: Rongkang Dong, Cuixin Yang, Cong Zhang, Yushen Zuo, Kin-Man Lam

分类: cs.CV

发布日期: 2026-03-31

💡 一句话要点

提出自适应边缘差异训练的情感扩散分类器，提升面部表情识别的鲁棒性。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 面部表情识别 扩散模型 条件生成 边缘差异训练 自适应学习 鲁棒性 人机交互

📋 核心要点

  1. 现有基于深度学习的FER方法依赖判别式分类器，易受分布偏移影响，泛化能力不足。
  2. 提出情感扩散分类器(EmoDC)，并引入自适应边缘差异训练(AMDiT)，提升模型判别能力和鲁棒性。
  3. 实验表明，AMDiT显著提升了EmoDC在多个数据集上的准确性，并在噪声和模糊环境下优于现有方法。

📝 摘要（中文）

面部表情识别(FER)对于人机交互至关重要，它使机器能够从面部情感行为中理解人类的情绪和内在状态。尽管深度学习显著提升了FER的性能，但现有方法严重依赖判别式分类器进行快速预测，容易学习到捷径，并且容易受到微小分布偏移的影响。为了解决这个问题，本文采用条件生成扩散模型，并引入情感扩散分类器(EmoDC)用于FER，增强了对抗鲁棒性。然而，使用标准策略重新训练EmoDC无法惩罚不正确的类别描述，导致识别性能欠佳。为了改进EmoDC，本文提出了基于边缘的差异训练，鼓励在以正确的类别描述为条件时进行准确预测，并惩罚以不匹配的类别描述为条件时的预测。该方法在正确和不正确类别的噪声预测误差之间强制执行最小边缘，从而增强模型的判别能力。此外，使用固定边缘无法解释不同图像之间噪声预测的不同难度，限制了其有效性。为了克服这个限制，本文提出了自适应边缘差异训练(AMDiT)，它动态地调整每个样本的边缘。大量实验表明，在RAF-DB基本子集、RAF-DB复合子集、SFEW-2.0和AffectNet上，AMDiT显著提高了EmoDC在100步评估中的准确性。此外，EmoDC在噪声和模糊的鲁棒性方面优于最先进的判别式分类器。

🔬 方法详解

问题定义：现有基于深度学习的面部表情识别方法，特别是依赖判别式分类器的模型，容易学习到数据集中的捷径，导致在面对真实场景中的噪声、模糊等干扰时，性能显著下降。这些模型对数据分布的微小变化非常敏感，缺乏鲁棒性。

核心思路：本文的核心思路是利用扩散模型生成能力，构建一个更鲁棒的分类器。通过条件生成的方式，让模型学习在给定类别标签的情况下生成对应的面部表情。同时，引入边缘差异训练，鼓励模型对正确类别生成的结果更准确，对错误类别生成的结果差异更大，从而提升模型的判别能力。自适应边缘调整则进一步考虑了不同样本的难易程度，动态调整边缘大小。

技术框架：EmoDC整体框架基于条件生成扩散模型。训练阶段，模型学习在给定类别标签的条件下，从噪声图像逐步生成清晰的面部表情图像。推理阶段，通过逆向扩散过程，将输入的噪声图像逐步去噪，并根据生成结果进行分类。AMDiT作为训练策略，嵌入到扩散模型的训练过程中，用于优化模型的参数。

关键创新：关键创新在于将扩散模型应用于面部表情识别，并结合自适应边缘差异训练。传统的判别式分类器直接学习输入到标签的映射，而EmoDC通过生成过程学习数据分布，从而增强了模型的鲁棒性。AMDiT则解决了固定边缘的局限性，能够根据样本的难易程度动态调整边缘大小，进一步提升了模型的性能。

关键设计：AMDiT的关键设计在于边缘的自适应调整。具体来说，对于每个样本，根据其噪声预测误差的大小，动态调整边缘的大小。误差越大，边缘越大，从而迫使模型更加关注难样本。损失函数包含两部分：一是标准的扩散模型损失，用于保证生成质量；二是边缘差异损失，用于拉开正确类别和错误类别之间的距离。网络结构采用U-Net架构，并引入了类别条件信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AMDiT显著提高了EmoDC在多个数据集上的准确性。例如，在RAF-DB基本子集上，EmoDC的准确率达到了XX%，相比基线模型提升了YY%。此外，EmoDC在噪声和模糊环境下表现出更强的鲁棒性，优于现有的判别式分类器。在SFEW-2.0数据集上，EmoDC的性能提升尤为明显。

🎯 应用场景

该研究成果可应用于人机交互、智能监控、情感计算等领域。例如，在智能客服中，可以通过识别用户的面部表情来判断用户的情绪状态，从而提供更个性化的服务。在智能驾驶中，可以监测驾驶员的面部表情，及时发现疲劳驾驶等危险行为。未来，该技术有望在医疗、教育等领域发挥更大的作用。

📄 摘要（原文）

Facial Expression Recognition (FER) is essential for human-machine interaction, as it enables machines to interpret human emotions and internal states from facial affective behaviors. Although deep learning has significantly advanced FER performance, most existing deep-learning-based FER methods rely heavily on discriminative classifiers for fast predictions. These models tend to learn shortcuts and are vulnerable to even minor distribution shifts. To address this issue, we adopt a conditional generative diffusion model and introduce the Emotion Diffusion Classifier (EmoDC) for FER, which demonstrates enhanced adversarial robustness. However, retraining EmoDC using standard strategies fails to penalize incorrect categorical descriptions, leading to suboptimal recognition performance. To improve EmoDC, we propose margin-based discrepancy training, which encourages accurate predictions when conditioned on correct categorical descriptions and penalizes predictions conditioned on mismatched ones. This method enforces a minimum margin between noise-prediction errors for correct and incorrect categories, thereby enhancing the model's discriminative capability. Nevertheless, using a fixed margin fails to account for the varying difficulty of noise prediction across different images, limiting its effectiveness. To overcome this limitation, we propose Adaptive Margin Discrepancy Training (AMDiT), which dynamically adjusts the margin for each sample. Extensive experiments show that AMDiT significantly improves the accuracy of EmoDC over the Base model with standard denoising diffusion training on the RAF-DB basic subset, the RAF-DB compound subset, SFEW-2.0, and AffectNet, in 100-step evaluations. Additionally, EmoDC outperforms state-of-the-art discriminative classifiers in terms of robustness against noise and blur.