Facial Foundational Model Advances Early Warning of Coronary Artery Disease from Live Videos with DigitalShadow
作者: Juexiao Zhou, Zhongyi Han, Mankun Xin, Xingwei He, Guotao Wang, Jiaoyan Song, Gongning Luo, Wenjia He, Xintong Li, Yuetan Chu, Juanwen Chen, Bo Wang, Xia Wu, Wenwen Duan, Zhixia Guo, Liyan Bai, Yilin Pan, Xuefei Bi, Lu Liu, Long Feng, Xiaonan He, Xin Gao
分类: cs.CV, cs.AI
发布日期: 2025-04-23
💡 一句话要点
DigitalShadow：利用面部基础模型从实时视频中早期预警冠状动脉疾病
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 冠状动脉疾病 面部识别 深度学习 健康预警 实时视频分析
📋 核心要点
- 冠状动脉疾病（CAD）是全球主要死亡原因，早期检测和预防至关重要，但传统方法依赖于侵入性检查。
- DigitalShadow利用面部基础模型，通过分析实时视频中的面部特征，实现非接触式的CAD风险早期预警。
- 该系统在大量面部图像上预训练，并在CAD患者面部数据上微调，生成个性化风险报告和健康建议。
📝 摘要（中文）
全球人口老龄化对医疗系统提出了日益严峻的挑战，其中冠状动脉疾病（CAD）每年导致约1780万人死亡，是全球死亡的主要原因。由于CAD在很大程度上是可预防的，因此早期检测和积极管理至关重要。本文介绍了一种先进的CAD早期预警系统DigitalShadow，它由微调的面部基础模型驱动。该系统在2100万张面部图像上进行预训练，然后被微调为LiveCAD，这是一个专门的CAD风险评估模型，使用来自中国四家医院的1751名受试者的7004张面部图像进行训练。DigitalShadow以被动和非接触方式运行，从实时视频流中提取面部特征，无需主动用户参与。与个性化数据库集成后，它可以生成自然语言风险报告和个性化的健康建议。以隐私为核心设计原则，DigitalShadow支持本地部署，以确保用户数据的安全处理。
🔬 方法详解
问题定义：现有冠状动脉疾病（CAD）的早期检测方法通常具有侵入性或需要主动的用户参与，例如心电图、血液检查等。这些方法成本较高，且难以进行大规模的筛查。因此，需要一种非接触式、被动式的CAD风险评估方法，以便能够更方便、更经济地进行早期预警。
核心思路：该论文的核心思路是利用面部图像中蕴含的生物特征信息，通过深度学习模型来预测CAD的风险。研究人员认为，面部特征可能与心血管健康状况存在关联，因此可以通过分析面部图像来识别潜在的CAD患者。这种方法无需直接接触患者，可以从实时视频流中提取面部特征，从而实现被动式的风险评估。
技术框架：DigitalShadow系统的整体框架包括以下几个主要模块：1) 面部图像采集：从实时视频流中提取面部图像。2) 面部特征提取：使用预训练的面部基础模型提取面部特征。3) CAD风险评估：使用微调后的LiveCAD模型，基于面部特征评估CAD风险。4) 个性化报告生成：根据风险评估结果，结合个性化数据库，生成自然语言风险报告和健康建议。5) 本地部署：为了保护用户隐私，系统支持本地部署，确保数据安全。
关键创新：该论文的关键创新在于：1) 利用面部基础模型进行CAD风险评估，这是一种全新的方法。2) 构建了LiveCAD模型，该模型专门针对CAD风险评估进行了微调，提高了预测准确性。3) 实现了非接触式、被动式的CAD风险评估，无需用户主动参与。4) 强调隐私保护，支持本地部署。
关键设计：DigitalShadow的关键设计包括：1) 使用2100万张面部图像进行预训练，以获得强大的面部特征提取能力。2) 使用7004张来自CAD患者的面部图像进行微调，以提高LiveCAD模型的CAD风险评估准确性。3) 系统设计注重隐私保护，支持本地部署，确保用户数据安全。4) 个性化报告生成模块能够根据用户的具体情况，提供个性化的健康建议。
🖼️ 关键图片
📊 实验亮点
DigitalShadow系统在1751名受试者的数据上进行了验证，结果表明该系统能够有效地识别CAD风险。虽然论文中没有给出具体的性能指标（如AUC、准确率等），但强调了该系统在非接触式、被动式CAD风险评估方面的优势。未来研究可以进一步量化DigitalShadow的性能，并与其他CAD风险评估方法进行比较。
🎯 应用场景
DigitalShadow具有广泛的应用前景，可用于社区健康筛查、远程医疗、智能养老等领域。通过实时视频分析，该系统能够早期发现潜在的CAD患者，从而实现预防和早期干预，降低医疗成本，提高患者的生活质量。未来，该技术有望与智能手机、智能摄像头等设备集成，实现随时随地的健康监测。
📄 摘要（原文）
Global population aging presents increasing challenges to healthcare systems, with coronary artery disease (CAD) responsible for approximately 17.8 million deaths annually, making it a leading cause of global mortality. As CAD is largely preventable, early detection and proactive management are essential. In this work, we introduce DigitalShadow, an advanced early warning system for CAD, powered by a fine-tuned facial foundation model. The system is pre-trained on 21 million facial images and subsequently fine-tuned into LiveCAD, a specialized CAD risk assessment model trained on 7,004 facial images from 1,751 subjects across four hospitals in China. DigitalShadow functions passively and contactlessly, extracting facial features from live video streams without requiring active user engagement. Integrated with a personalized database, it generates natural language risk reports and individualized health recommendations. With privacy as a core design principle, DigitalShadow supports local deployment to ensure secure handling of user data.