VAD-Net: Multidimensional Facial Expression Recognition in Intelligent Education System

📄 arXiv: 2512.06377v1 📥 PDF

作者: Yi Huo, Yun Ge

分类: cs.CV

发布日期: 2025-12-06

DOI: 10.1109/IJCNN60899.2024.10651071

🔗 代码/项目: GITHUB

💡 一句话要点

VAD-Net：在智能教育系统中进行多维度面部表情识别，提出VAD标注并引入正交卷积。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 面部表情识别 情感计算 VAD模型 正交卷积 FER2013数据集 智能教育 多维度情感 ResNet

📋 核心要点

  1. 现有FER数据集情感类别标注表达力有限，无法满足未来情感计算对全面精确情感指标的需求。
  2. 论文核心在于对FER2013数据集进行VAD标注，并提出基于正交卷积的回归网络以提升VAD预测精度。
  3. 实验结果表明D维度可测量但标注难度较高，且正交卷积能有效提升VAD预测性能。

📝 摘要（中文）

当前的面部表情识别(FER)数据集大多使用情感类别进行标注，如快乐、愤怒、悲伤、恐惧、厌恶、惊讶和中性，这些类别在表达能力上存在局限性。然而，未来的情感计算需要更全面和精确的情感指标，这些指标可以通过VAD(Valence-Arousal-Dominance)多维度参数来衡量。为了解决这个问题，AffectNet尝试添加了VA(Valence和Arousal)信息，但仍然缺乏D(Dominance)。因此，本研究在FER2013数据集上引入了VAD标注，主动标注D(Dominance)维度。然后，为了进一步提高网络容量，对网络强制执行正交卷积，提取更多样化和富有表现力的特征，最终提高预测精度。实验结果表明，D维度可以被测量，但与V和A维度相比，无论是在手动标注还是回归网络预测中，都难以获得。其次，通过引入正交卷积的消融测试验证了在正交卷积的配置下可以获得更好的VAD预测。因此，本研究为FER数据集上的D维度提供了一个主动标注，并提出了一个通过正交卷积进行VAD预测的更好的预测网络。新构建的VAD标注的FER2013数据集可以作为衡量VAD多维情感的基准，而基于ResNet的正交回归网络可以作为VAD情感预测的面部表情识别基线。新标注的数据集和实现代码已在https://github.com/YeeHoran/VAD-Net上公开。

🔬 方法详解

问题定义：现有面部表情识别数据集主要采用离散的情感类别标注，如喜怒哀乐等，无法充分表达情感的细微差别和强度。AffectNet数据集虽然引入了Valence和Arousal维度，但仍然缺乏Dominance维度。因此，需要一种更精细、多维度的情感表达方式，并构建相应的数据集和模型。

核心思路：论文的核心思路是引入VAD（Valence-Arousal-Dominance）三维情感模型，对FER2013数据集进行VAD标注，并设计基于正交卷积的神经网络来预测VAD值。通过引入Dominance维度，可以更全面地描述情感状态。正交卷积能够提取更多样化和独立的特征，从而提高模型的预测能力。

技术框架：VAD-Net的整体框架包括两个主要部分：一是VAD标注数据集的构建，二是通过正交卷积增强的回归网络。首先，人工对FER2013数据集中的图像进行VAD值的标注。然后，使用标注后的数据训练一个基于ResNet的回归网络，该网络通过正交卷积层提取特征，并预测每个图像的VAD值。

关键创新：论文的关键创新在于：1) 首次在FER2013数据集上引入了Dominance维度的标注，构建了VAD标注的FER数据集。2) 将正交卷积引入到面部表情识别任务中，通过约束卷积核的正交性，提取更具区分性的特征。

关键设计：论文的关键设计包括：1) VAD标注过程中的标注指南和质量控制方法，以保证标注的准确性和一致性。2) 正交卷积层的实现方式，包括正交约束的施加方法和损失函数的选择。3) 基于ResNet的回归网络的结构设计和参数设置。

📊 实验亮点

实验结果表明，D维度可以被测量，但标注难度高于V和A维度。通过引入正交卷积，VAD预测性能得到提升，验证了正交卷积在面部表情识别中的有效性。新构建的VAD标注FER2013数据集和基于ResNet的正交回归网络可作为VAD情感预测的基准。

🎯 应用场景

该研究成果可应用于智能教育系统、人机交互、心理健康评估等领域。在智能教育中，系统可以通过识别学生的面部表情，了解其情绪状态，从而提供个性化的教学内容和反馈。在人机交互中，可以使机器更好地理解人类的情感，从而实现更自然、更有效的交流。在心理健康评估中，可以辅助医生诊断和治疗心理疾病。

📄 摘要（原文）

Current FER (Facial Expression Recognition) dataset is mostly labeled by emotion categories, such as happy, angry, sad, fear, disgust, surprise, and neutral which are limited in expressiveness. However, future affective computing requires more comprehensive and precise emotion metrics which could be measured by VAD(Valence-Arousal-Dominance) multidimension parameters. To address this, AffectNet has tried to add VA (Valence and Arousal) information, but still lacks D(Dominance). Thus, the research introduces VAD annotation on FER2013 dataset, takes the initiative to label D(Dominance) dimension. Then, to further improve network capacity, it enforces orthogonalized convolution on it, which extracts more diverse and expressive features and will finally increase the prediction accuracy. Experiment results show that D dimension could be measured but is difficult to obtain compared with V and A dimension no matter in manual annotation or regression network prediction. Secondly, the ablation test by introducing orthogonal convolution verifies that better VAD prediction could be obtained in the configuration of orthogonal convolution. Therefore, the research provides an initiative labelling for D dimension on FER dataset, and proposes a better prediction network for VAD prediction through orthogonal convolution. The newly built VAD annotated FER2013 dataset could act as a benchmark to measure VAD multidimensional emotions, while the orthogonalized regression network based on ResNet could act as the facial expression recognition baseline for VAD emotion prediction. The newly labeled dataset and implementation code is publicly available on https://github.com/YeeHoran/VAD-Net .