Diagnosis of Pulmonary Hypertension by Integrating Multimodal Data with a Hybrid Graph Convolutional and Transformer Network

📄 arXiv: 2504.01025v1 📥 PDF

作者: Fubao Zhu, Yang Zhang, Gengmin Liang, Jiaofen Nan, Yanting Li, Chuang Han, Danyang Sun, Zhiguo Wang, Chen Zhao, Wenxuan Zhou, Jian He, Yi Xu, Iokfai Cheang, Xu Zhu, Yanli Zhou, Weihua Zhou

分类: eess.IV, cs.AI, cs.CV, physics.med-ph

发布日期: 2025-03-28

备注: 23 pages, 8 figures, 4 tables

💡 一句话要点

提出结合图卷积、CNN和Transformer的混合网络，用于肺动脉高压的多模态数据诊断。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肺动脉高压诊断 多模态数据融合 图卷积网络 卷积神经网络 Transformer 深度学习 医学影像分析

📋 核心要点

  1. 肺动脉高压的早期准确诊断至关重要，现有方法难以有效整合多模态数据进行精确分类。
  2. 论文提出一种混合深度学习模型，结合图卷积网络、卷积神经网络和Transformer，处理多模态数据。
  3. 实验结果表明，该模型在肺动脉高压诊断中取得了较好的AUC和准确率，具有辅助临床决策的潜力。

📝 摘要（中文）

本研究旨在开发并验证一种基于深度学习的肺动脉高压（PH）诊断模型，用于将患者分类为非PH、肺动脉高压前期或肺动脉高压后期，从而优化患者管理。该回顾性研究分析了南京医科大学第一附属医院204名患者的数据（112名肺动脉高压前期患者，32名肺动脉高压后期患者和60名非PH对照者），诊断通过右心导管术确认。每类选取6个样本作为测试集（18个样本，10%），其余186个样本用于训练集，重复此过程35次进行测试。论文提出了一种结合图卷积网络（GCN）、卷积神经网络（CNN）和Transformer的深度学习模型，处理包括短轴（SAX）序列、四腔（4CH）序列和临床参数在内的多模态数据。模型在测试集上实现了AUC = 0.81 +- 0.06和ACC = 0.73 +- 0.06的性能。对非PH受试者（AUC = 0.74 +- 0.11）、肺动脉高压前期（AUC = 0.86 +- 0.06）和肺动脉高压后期（AUC = 0.83 +- 0.10）的区分能力较好。该模型有潜力通过有效整合多模态数据来支持临床决策，协助医生做出准确及时的诊断。

🔬 方法详解

问题定义：论文旨在解决肺动脉高压的早期诊断问题，特别是区分肺动脉高压的不同类型（前期和后期）。现有方法在整合多种数据模态（如影像序列和临床参数）方面存在不足，导致诊断准确性受限。

核心思路：论文的核心思路是利用深度学习模型，特别是结合图卷积网络（GCN）、卷积神经网络（CNN）和Transformer，来有效整合多模态数据。GCN用于处理临床参数之间的关系，CNN用于提取影像序列的特征，Transformer用于捕捉序列数据中的长期依赖关系。通过融合这些模型的优势，可以更全面地理解患者的病情，从而提高诊断准确性。

技术框架：该模型的技术框架包括以下几个主要模块：1) 数据预处理模块，对影像序列和临床参数进行清洗和标准化；2) 特征提取模块，使用CNN提取SAX和4CH序列的图像特征，使用GCN提取临床参数之间的关系特征；3) 特征融合模块，将不同模态的特征进行融合，形成统一的特征表示；4) 分类模块，使用Transformer对融合后的特征进行序列建模，并最终输出诊断结果（非PH、肺动脉高压前期或后期）。

关键创新：该论文的关键创新在于提出了一种混合网络结构，将GCN、CNN和Transformer结合起来，以充分利用不同模态数据的特点。这种混合结构能够更有效地整合多模态信息，从而提高诊断准确性。此外，该模型还考虑了临床参数之间的关系，这在以往的研究中往往被忽略。

关键设计：在网络结构方面，CNN部分采用了常见的卷积层和池化层结构，用于提取图像特征。GCN部分采用了图卷积操作，用于学习临床参数之间的关系。Transformer部分采用了自注意力机制，用于捕捉序列数据中的长期依赖关系。损失函数方面，采用了交叉熵损失函数，用于衡量模型预测结果与真实标签之间的差异。训练过程中，采用了Adam优化器，并设置了合适的学习率和batch size。

📊 实验亮点

该模型在测试集上取得了AUC = 0.81 +- 0.06和ACC = 0.73 +- 0.06的性能。在区分不同类型的肺动脉高压方面，对非PH受试者的AUC为0.74 +- 0.11，肺动脉高压前期的AUC为0.86 +- 0.06，肺动脉高压后期的AUC为0.83 +- 0.10。这些结果表明，该模型具有较好的诊断性能和区分能力。

🎯 应用场景

该研究成果可应用于临床辅助诊断，帮助医生更准确、及时地诊断肺动脉高压，特别是区分不同类型的肺动脉高压，从而指导治疗方案的制定。该模型还可扩展到其他疾病的诊断，通过整合多模态数据，提高诊断效率和准确性，具有广阔的应用前景。

📄 摘要（原文）

Early and accurate diagnosis of pulmonary hypertension (PH) is essential for optimal patient management. Differentiating between pre-capillary and post-capillary PH is critical for guiding treatment decisions. This study develops and validates a deep learning-based diagnostic model for PH, designed to classify patients as non-PH, pre-capillary PH, or post-capillary PH. This retrospective study analyzed data from 204 patients (112 with pre-capillary PH, 32 with post-capillary PH, and 60 non-PH controls) at the First Affiliated Hospital of Nanjing Medical University. Diagnoses were confirmed through right heart catheterization. We selected 6 samples from each category for the test set (18 samples, 10%), with the remaining 186 samples used for the training set. This process was repeated 35 times for testing. This paper proposes a deep learning model that combines Graph convolutional networks (GCN), Convolutional neural networks (CNN), and Transformers. The model was developed to process multimodal data, including short-axis (SAX) sequences, four-chamber (4CH) sequences, and clinical parameters. Our model achieved a performance of Area under the receiver operating characteristic curve (AUC) = 0.81 +- 0.06(standard deviation) and Accuracy (ACC) = 0.73 +- 0.06 on the test set. The discriminative abilities were as follows: non-PH subjects (AUC = 0.74 +- 0.11), pre-capillary PH (AUC = 0.86 +- 0.06), and post-capillary PH (AUC = 0.83 +- 0.10). It has the potential to support clinical decision-making by effectively integrating multimodal data to assist physicians in making accurate and timely diagnoses.