FacialPulse: An Efficient RNN-based Depression Detection via Temporal Facial Landmarks
作者: Ruiqi Wang, Jinyang Huang, Jie Zhang, Xin Liu, Xiang Zhang, Zhi Liu, Peng Zhao, Sigui Chen, Xiao Sun
分类: cs.CV
发布日期: 2024-08-07
🔗 代码/项目: GITHUB
💡 一句话要点
提出FacialPulse，利用时序人脸关键点高效检测抑郁症
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 抑郁症检测 面部表情分析 时序建模 人脸关键点 循环神经网络
📋 核心要点
- 现有抑郁症检测方法忽略面部表情的时序动态，或引入过高的计算成本和冗余特征。
- FacialPulse通过面部运动建模模块（FMMM）捕获时序特征，并利用面部标志校准模块（FLCM）消除误差。
- 实验表明，FacialPulse在AVEC2014和MMDA数据集上，MAE降低21%，识别速度提升100%。
📝 摘要（中文）
抑郁症是一种普遍存在的精神健康障碍，严重影响个体生活和福祉。早期检测和干预对于有效治疗和管理至关重要。近年来，涌现出许多利用面部表情特征进行自动抑郁症检测的端到端深度学习方法。然而，大多数现有方法忽略了面部表情的时序动态。虽然最新的3DCNN方法弥补了这一缺陷，但由于选择基于CNN的骨干网络和冗余的面部特征，它们引入了更高的计算成本。为了解决上述局限性，考虑到面部表情的时间相关性，我们提出了一种名为FacialPulse的新框架，该框架能够以高精度和速度识别抑郁症。通过利用双向性和熟练地处理长期依赖性，FacialPulse中设计了面部运动建模模块（FMMM）以充分捕获时间特征。由于所提出的FMMM具有并行处理能力，并且具有减轻梯度消失的门机制，因此该模块还可以显着提高训练速度。此外，为了有效地使用面部标志来代替原始图像以减少信息冗余，设计了面部标志校准模块（FLCM）以消除面部标志错误，从而进一步提高识别准确率。在AVEC2014数据集和MMDA数据集（抑郁症数据集）上的大量实验表明，FacialPulse在识别准确率和速度方面均优于基线方法，平均MAE（平均绝对误差）降低了21％，识别速度比最先进的方法提高了100％。代码已在https://github.com/volatileee/FacialPulse上发布。
🔬 方法详解
问题定义：现有基于面部表情的抑郁症检测方法主要存在两个痛点：一是忽略了面部表情随时间变化的时序信息，二是计算复杂度高，特征冗余。虽然3DCNN方法考虑了时序信息，但其CNN骨干网络和对原始图像的处理导致计算成本增加，效率降低。
核心思路：FacialPulse的核心思路是利用人脸关键点（facial landmarks）的时序变化来表征面部表情的动态信息，并设计高效的RNN结构来建模这些时序变化。通过关键点代替原始图像，减少信息冗余，降低计算复杂度。同时，通过校准模块消除关键点误差，提高特征质量。
技术框架：FacialPulse框架主要包含两个模块：面部运动建模模块（FMMM）和面部标志校准模块（FLCM）。首先，FLCM用于校准输入的人脸关键点，减少噪声。然后，校准后的关键点序列被输入到FMMM中，FMMM是一个双向RNN结构，用于捕获面部表情的时序动态特征。最后，FMMM的输出被用于抑郁症的分类或回归任务。
关键创新：FacialPulse的关键创新在于：1) 提出了FMMM，一个专门用于建模面部表情时序动态的RNN结构，能够有效捕获长期依赖关系，并具有并行处理能力，加速训练。2) 提出了FLCM，用于消除人脸关键点误差，提高特征质量。3) 使用人脸关键点代替原始图像，显著降低了计算复杂度，提高了效率。与现有方法相比，FacialPulse更加高效和准确。
关键设计：FMMM采用双向RNN结构，具体实现可以使用LSTM或GRU。为了缓解梯度消失问题，FMMM中使用了门机制。FLCM的具体实现可以使用一个简单的神经网络，用于预测和校正人脸关键点的位置。损失函数根据具体的任务选择，可以是分类交叉熵损失或回归的均方误差损失。关键点的数量和RNN的隐藏层大小是重要的超参数，需要根据数据集进行调整。
🖼️ 关键图片
📊 实验亮点
FacialPulse在AVEC2014和MMDA数据集上进行了评估，实验结果表明，FacialPulse在识别准确率和速度方面均优于现有方法。在MMDA数据集上，FacialPulse的平均绝对误差（MAE）比基线方法降低了21%，识别速度比最先进的方法提高了100%。这些结果表明，FacialPulse能够以更高的效率和准确率检测抑郁症。
🎯 应用场景
FacialPulse可应用于心理健康评估、远程医疗、人机交互等领域。通过分析用户的面部表情，可以辅助医生进行抑郁症的早期筛查和诊断，降低诊断成本，提高诊断效率。在人机交互中，可以根据用户的面部表情调整交互策略，提供更个性化的服务。该研究有助于推动心理健康领域的智能化发展。
📄 摘要（原文）
Depression is a prevalent mental health disorder that significantly impacts individuals' lives and well-being. Early detection and intervention are crucial for effective treatment and management of depression. Recently, there are many end-to-end deep learning methods leveraging the facial expression features for automatic depression detection. However, most current methods overlook the temporal dynamics of facial expressions. Although very recent 3DCNN methods remedy this gap, they introduce more computational cost due to the selection of CNN-based backbones and redundant facial features. To address the above limitations, by considering the timing correlation of facial expressions, we propose a novel framework called FacialPulse, which recognizes depression with high accuracy and speed. By harnessing the bidirectional nature and proficiently addressing long-term dependencies, the Facial Motion Modeling Module (FMMM) is designed in FacialPulse to fully capture temporal features. Since the proposed FMMM has parallel processing capabilities and has the gate mechanism to mitigate gradient vanishing, this module can also significantly boost the training speed. Besides, to effectively use facial landmarks to replace original images to decrease information redundancy, a Facial Landmark Calibration Module (FLCM) is designed to eliminate facial landmark errors to further improve recognition accuracy. Extensive experiments on the AVEC2014 dataset and MMDA dataset (a depression dataset) demonstrate the superiority of FacialPulse on recognition accuracy and speed, with the average MAE (Mean Absolute Error) decreased by 21% compared to baselines, and the recognition speed increased by 100% compared to state-of-the-art methods. Codes are released at https://github.com/volatileee/FacialPulse.