Interpretable Multimodal Learning for Cardiovascular Hemodynamics Assessment

📄 arXiv: 2404.04718v1 📥 PDF

作者: Prasun C Tripathi, Sina Tabakhi, Mohammod N I Suvon, Lawrence Schöb, Samer Alabed, Andrew J Swift, Shuo Zhou, Haiping Lu

分类: cs.CV, cs.AI

发布日期: 2024-04-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态学习方法以评估心血管血流动力学

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肺动脉楔压 心血管评估 多模态学习 图注意力网络 电子健康记录 心脏磁共振成像 特征融合 非侵入性技术

📋 核心要点

  1. 现有的心血管血流动力学评估方法多依赖侵入性技术，缺乏有效的非侵入性筛查手段。
  2. 本文提出了一种结合心脏磁共振成像和电子健康记录的多模态学习管道，以提高PAWP预测的准确性。
  3. 在2641名受试者的数据集上进行的比较研究表明，该方法在性能上优于现有的最先进方法。

📝 摘要（中文）

肺动脉楔压（PAWP）是检测心力衰竭的重要心血管血流动力学指标。在临床实践中，右心导管插入被视为评估心脏血流动力学的金标准，但在大规模人群中筛查高风险患者时，非侵入性方法显得尤为重要。本文提出了一种多模态学习管道来预测PAWP指标，利用心脏磁共振成像（CMR）扫描和电子健康记录（EHR）的互补信息。通过张量学习提取CMR扫描的时空特征，并采用图注意力网络选择重要的EHR特征。我们设计了四种特征融合策略，并在2641名受试者的大型数据集上验证了该管道的有效性，结果显示其优于现有方法。

🔬 方法详解

问题定义：本文旨在解决如何有效预测肺动脉楔压（PAWP）这一关键心血管指标的问题。现有方法多依赖侵入性技术，难以在大规模人群中进行有效筛查。

核心思路：通过结合心脏磁共振成像（CMR）和电子健康记录（EHR），提取时空特征和重要特征，从而实现对PAWP的准确预测。采用图注意力网络来选择EHR特征，提升模型的解释性。

技术框架：整体架构包括数据预处理、特征提取、特征选择和预测模块。首先从CMR中提取时空特征，然后通过图注意力网络选择EHR特征，最后进行特征融合和预测。

关键创新：提出了图注意力网络用于EHR特征选择，并设计了四种特征融合策略（早期、中期、晚期和混合融合），使得模型具有更好的解释性和准确性。

关键设计：在特征提取中采用张量学习方法，损失函数设计为适应多模态数据的特性，网络结构上结合了图神经网络和传统的线性分类器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对比实验中，本文提出的多模态学习管道在PAWP预测上表现优越，显著提高了预测准确性。具体而言，与现有最先进方法相比，模型在AUC指标上提升了XX%，并在决策曲线分析中显示出良好的适用性。

🎯 应用场景

该研究的潜在应用领域包括心血管疾病的早期筛查和风险评估，尤其是在大规模人群中。通过非侵入性的方法，医生可以更有效地识别高风险患者，从而提高临床决策的效率和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Pulmonary Arterial Wedge Pressure (PAWP) is an essential cardiovascular hemodynamics marker to detect heart failure. In clinical practice, Right Heart Catheterization is considered a gold standard for assessing cardiac hemodynamics while non-invasive methods are often needed to screen high-risk patients from a large population. In this paper, we propose a multimodal learning pipeline to predict PAWP marker. We utilize complementary information from Cardiac Magnetic Resonance Imaging (CMR) scans (short-axis and four-chamber) and Electronic Health Records (EHRs). We extract spatio-temporal features from CMR scans using tensor-based learning. We propose a graph attention network to select important EHR features for prediction, where we model subjects as graph nodes and feature relationships as graph edges using the attention mechanism. We design four feature fusion strategies: early, intermediate, late, and hybrid fusion. With a linear classifier and linear fusion strategies, our pipeline is interpretable. We validate our pipeline on a large dataset of $2,641$ subjects from our ASPIRE registry. The comparative study against state-of-the-art methods confirms the superiority of our pipeline. The decision curve analysis further validates that our pipeline can be applied to screen a large population. The code is available at https://github.com/prasunc/hemodynamics.