Exploring a Multimodal Fusion-based Deep Learning Network for Detecting Facial Palsy
作者: Heng Yim Nicole Oo, Min Hun Lee, Jeong Hoon Lim
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-05-26 (更新: 2025-03-13)
备注: IJCAI 2024 4th AI for Ageless Aging Workshop (AIAA)
💡 一句话要点
提出基于多模态融合的深度学习网络，用于面瘫的自动检测。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 面瘫检测 多模态融合 深度学习 ResNet 面部表情特征
📋 核心要点
- 临床医生对面瘫的评估耗时且主观，算法检测有潜力改进现有流程。
- 论文提出一种多模态融合的深度学习模型，结合图像和面部表情特征进行面瘫检测。
- 实验结果表明，多模态融合模型在精确率上略有提升，验证了该方法的可行性。
📝 摘要（中文）
本文提出了一种基于多模态融合的深度学习模型，利用非结构化数据（即包含面部线段的图像帧）和结构化数据（即面部表情的特征）来检测面瘫。通过对21名面瘫患者的视频进行研究，分析了不同数据模态的影响以及基于多模态融合方法的优势。实验结果表明，在各种数据模态中（非结构化数据：RGB图像和面部线段图像；结构化数据：面部标志点的坐标和面部表情的特征），使用面部表情特征的前馈神经网络达到了76.22%的最高精确率，而使用面部线段图像的基于ResNet的模型达到了83.47%的最高召回率。当同时利用面部线段图像和面部表情特征时，多模态融合的深度学习模型略微提高了精确率至77.05%，但牺牲了召回率。
🔬 方法详解
问题定义：论文旨在解决面瘫检测中人工评估耗时且主观的问题。现有方法依赖临床医生的经验，缺乏客观性和效率。因此，需要一种自动化的、客观的面瘫检测方法来辅助诊断。
核心思路：论文的核心思路是利用多模态数据融合，结合非结构化的图像数据（RGB图像和面部线段图像）和结构化的面部表情特征数据，以提高面瘫检测的准确性和鲁棒性。通过融合不同模态的信息，可以互补彼此的不足，从而更全面地捕捉面瘫的特征。
技术框架：整体框架包括以下几个主要模块：1) 数据预处理：对图像数据进行预处理，提取面部线段图像；对面部表情数据进行特征提取。2) 单模态模型训练：分别训练基于ResNet的图像分类模型和基于前馈神经网络的表情特征分类模型。3) 多模态融合：将两个单模态模型的输出进行融合，例如通过连接或加权平均等方式。4) 分类预测：使用融合后的特征进行面瘫检测的最终预测。
关键创新：论文的关键创新在于多模态融合策略，它有效地结合了图像数据和面部表情特征数据。与仅使用单一模态数据的方法相比，多模态融合能够更全面地捕捉面瘫的特征，从而提高检测的准确性。此外，论文还分析了不同数据模态对检测结果的影响，为后续研究提供了参考。
关键设计：在图像数据处理方面，使用了基于ResNet的深度学习模型，该模型具有强大的特征提取能力。在面部表情特征方面，使用了前馈神经网络进行分类。多模态融合的具体方式（例如连接或加权平均）以及权重参数的选择是影响最终性能的关键设计因素。损失函数采用标准的交叉熵损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用面部表情特征的前馈神经网络达到了76.22%的最高精确率，使用面部线段图像的基于ResNet的模型达到了83.47%的最高召回率。多模态融合模型在精确率上略有提升至77.05%，但召回率有所下降。这些结果验证了多模态融合在面瘫检测中的潜力，并为进一步优化融合策略提供了方向。
🎯 应用场景
该研究成果可应用于远程医疗、智能诊断等领域，辅助医生进行面瘫的初步筛查和诊断，提高诊断效率和准确性。未来，该技术可集成到移动应用或智能设备中，实现便捷的面瘫自测和监测，为患者提供更及时的医疗服务。
📄 摘要（原文）
Algorithmic detection of facial palsy offers the potential to improve current practices, which usually involve labor-intensive and subjective assessment by clinicians. In this paper, we present a multimodal fusion-based deep learning model that utilizes unstructured data (i.e. an image frame with facial line segments) and structured data (i.e. features of facial expressions) to detect facial palsy. We then contribute to a study to analyze the effect of different data modalities and the benefits of a multimodal fusion-based approach using videos of 21 facial palsy patients. Our experimental results show that among various data modalities (i.e. unstructured data - RGB images and images of facial line segments and structured data - coordinates of facial landmarks and features of facial expressions), the feed-forward neural network using features of facial expression achieved the highest precision of 76.22 while the ResNet-based model using images of facial line segments achieved the highest recall of 83.47. When we leveraged both images of facial line segments and features of facial expressions, our multimodal fusion-based deep learning model slightly improved the precision score to 77.05 at the expense of a decrease in the recall score.