HyMNet: a Multimodal Deep Learning System for Hypertension Classification using Fundus Photographs and Cardiometabolic Risk Factors

📄 arXiv: 2310.01099v2 📥 PDF

作者: Mohammed Baharoon, Hessa Almatar, Reema Alduhayan, Tariq Aldebasi, Badr Alahmadi, Yahya Bokhari, Mohammed Alawad, Ahmed Almazroa, Abdulrhman Aljouie

分类: eess.IV, cs.CV, cs.LG

发布日期: 2023-10-02 (更新: 2024-03-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出HyMNet以解决单一数据源对高血压分类的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高血压分类 多模态深度学习 眼底图像 心代谢风险因素 RETFound模型 糖尿病影响 医疗影像分析

📋 核心要点

  1. 现有方法主要依赖单一数据源，无法全面捕捉高血压风险的复杂性，导致预测能力受限。
  2. 本研究提出HyMNet，通过结合眼底图像和心代谢风险因素（年龄和性别）来提升高血压检测的准确性。
  3. 实验结果显示，HyMNet在高血压检测中的F1分数达到0.771，显著优于单模态系统，验证了多模态融合的有效性。

📝 摘要（中文）

近年来，深度学习在从眼底图像预测高血压（HTN）方面展现出潜力。然而，之前的研究主要集中于分析单一数据类型，未能全面捕捉高血压风险的复杂性。为了解决这一局限性，本研究提出了一种多模态深度学习系统HyMNet，结合眼底图像和心代谢风险因素（年龄和性别），以提高高血压检测能力。该系统使用在160万张视网膜图像上预训练的基础模型RETFound进行眼底路径分析，并通过全连接神经网络处理年龄和性别信息。实验结果表明，结合眼底图像、年龄和性别的多模态模型在高血压检测中表现优于仅基于眼底图像的单模态系统，F1分数分别为0.771和0.745。研究还探讨了糖尿病对模型预测能力的影响，得出糖尿病作为混杂变量的结论。

🔬 方法详解

问题定义：本研究旨在解决现有高血压预测方法依赖单一数据源的问题，导致无法全面评估高血压风险的复杂性。

核心思路：HyMNet通过结合眼底图像与心代谢风险因素（年龄和性别），利用多模态深度学习提升高血压检测的能力，旨在更全面地捕捉影响高血压的多重因素。

技术框架：该系统由两个主要路径组成：一是使用RETFound模型处理眼底图像，二是通过全连接神经网络处理年龄和性别信息。两个路径的特征向量被连接后输入到融合网络进行联合训练。

关键创新：HyMNet的创新在于其多模态融合策略，能够同时利用视觉信息和人口统计学特征，显著提高了高血压检测的准确性，相较于传统单模态方法具有本质区别。

关键设计：模型使用了在160万张视网膜图像上预训练的RETFound作为基础，特征提取后通过融合网络进行联合训练，损失函数设计为适应多模态输入，确保模型的有效性与稳定性。

📊 实验亮点

实验结果显示，HyMNet在高血压检测中的F1分数为0.771，显著高于仅基于眼底图像的单模态系统（F1分数为0.745），验证了多模态融合的有效性，提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、心血管疾病风险评估和个性化医疗。HyMNet能够为临床医生提供更准确的高血压风险评估工具，帮助早期发现和干预高血压患者，具有重要的实际价值和未来影响。

📄 摘要（原文）

In recent years, deep learning has shown promise in predicting hypertension (HTN) from fundus images. However, most prior research has primarily focused on analyzing a single type of data, which may not capture the full complexity of HTN risk. To address this limitation, this study introduces a multimodal deep learning (MMDL) system, dubbed HyMNet, which combines fundus images and cardiometabolic risk factors, specifically age and gender, to improve hypertension detection capabilities. Our MMDL system uses RETFound, a foundation model pre-trained on 1.6 million retinal images, for the fundus path and a fully connected neural network for the age and gender path. The two paths are jointly trained by concatenating the feature vectors from each path that are then fed into a fusion network. The system was trained on 5,016 retinal images from 1,243 individuals collected from the Saudi Ministry of National Guard Health Affairs. The results show that the multimodal model that integrates fundus images along with age and gender outperforms the unimodal system trained solely on fundus photographs, with an F1 score of 0.771 [0.747, 0.796], and 0.745 [0.719, 0.772] for hypertension detection, respectively. Additionally, we studied the effect underlying diabetes mellitus has on the model's predictive ability, concluding that diabetes is used as a confounding variable for distinguishing hypertensive cases. Our code and model weights are publicly available at https://github.com/MohammedSB/HyMNet.