Development of an automated, reliable, and clinically meaningful artificial intelligence (AI) tool for diagnosing cardiac disease from conventional cardiovascular magnetic resonance (CMR) images

📄 arXiv: 2607.20087v1 📥 PDF

作者: Sina Amirrajab, Volker Vehof, Michael Bietenbeck, Nuriye Akyol, Redouane Bouras, Khuraman Isgandarova, Alexandru Zlibut, Philipp Stalling, Ali Yilmaz

分类: cs.CV

发布日期: 2026-07-22

🔗 代码/项目: GITHUB

💡 一句话要点

开发自动化AI工具以诊断心脏疾病

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心血管疾病 人工智能 磁共振成像 自动化诊断 多模态数据 模型微调 临床应用 数据整理

📋 核心要点

  1. 现有的CMR图像解读依赖于专业经验，且AI模型在数据整理和性能上存在不足。
  2. 研究提出了一种自动化数据整理管道，结合LLMs提取诊断信息，并对多模态数据进行处理。
  3. 实验结果显示，微调后的AI模型在多个心脏疾病的诊断上取得了高达0.959的AUC值，显著提升了诊断性能。

📝 摘要（中文）

本研究旨在利用心血管磁共振成像（CMR）技术，通过人工智能（AI）工具实现心脏疾病的自动化、可靠和临床意义的诊断。研究者们构建了一个自动化数据整理管道，结合开源的大型语言模型（LLMs），从叙述性CMR报告中提取诊断标签，并对多模态成像数据进行预处理。经过两阶段的微调，AI模型在独立测试集上表现出色，特别是在诊断肥厚型心肌病和心脏淀粉样变方面，AUC值分别达到0.937和0.945。通过集成多模型和多模态策略，进一步提升了诊断准确性和鲁棒性。

🔬 方法详解

问题定义：本研究旨在解决心血管磁共振成像（CMR）图像解读中对专业经验的依赖，以及现有AI模型在数据整理和性能上的不足。

核心思路：研究者们设计了一个自动化的数据整理管道，利用开源的LLMs从CMR报告中提取诊断标签，并对多模态成像数据进行预处理，以提高AI模型的诊断能力。

技术框架：整体架构包括数据整理、标签提取和模型训练三个主要模块。首先，利用LLMs处理CMR报告，提取相关诊断信息；然后，对cine和晚期钆增强（LGE）CMR序列进行预处理；最后，采用两阶段微调的方式训练视觉基础模型。

关键创新：本研究的创新之处在于构建了一个集成多种模型和模态的自动化诊断系统，显著提升了心脏疾病的诊断准确性和鲁棒性。与传统方法相比，该系统在数据处理和模型训练上实现了自动化，降低了人工干预的需求。

关键设计：在模型训练中，采用了DINO、VST和UMedPT三种视觉基础模型，并对其进行了微调。数据集包含988个病例，随机分为742个用于训练和246个用于验证，最终在1067个患者的独立测试集上取得了优异的AUC值。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，微调后的AI模型在心脏疾病的诊断上表现优异，肥厚型心肌病的AUC值达到0.959，心脏淀粉样变的AUC值为0.966，整体诊断性能显著优于传统方法，展现了良好的临床应用潜力。

🎯 应用场景

该研究的AI工具可广泛应用于心血管疾病的临床诊断，尤其是在资源有限的医疗环境中，能够有效提升心脏疾病的早期识别和诊断效率。未来，该技术有望推广至其他医学影像领域，推动AI在医疗诊断中的应用。

📄 摘要（原文）

Aims: Cardiovascular magnetic resonance (CMR) imaging enables non-invasive assessment of myocardial structure, function, and pathology, but requires substantial experience in interpretation of CMR images that could be supported by artificial intelligence (AI)-based models. However, use of AI models for enhanced CMR reading is limited by labor-intensive data curation, suboptimal model performance, and unclear implementation pathways. Methods and results: We developed an automated data curation pipeline for CMR-based cardiovascular disease (CVD) diagnosis, integrating open-source locally-run large language models (LLMs) to extract diagnostic labels from narrative CMR reports and preprocessing multimodal imaging data, including cine and late-gadolinium-enhancement (LGE) CMR sequences. Three vision foundation models (DINO, VST, UMedPT) were fine-tuned across these modalities in a two-stage approach. The dataset comprised hypertrophic cardiomyopathy (HCM), dilated cardiomyopathy (DCM), ischemic cardiomyopathy (ICM), cardiac amyloidosis (CA), and normal controls (NOR). A total of 988 curated cases were randomly divided into 742 for training and 246 for validation. Fine-tuned AI-models achieved high discriminative diagnostic performance on an independent test set comprising 1067 patients , with individual AUC-ROC values of up to 0.937 for the correct diagnosis of HCM and 0.945 for cardiac amyloidosis. Ensemble strategies combining multiple models and modalities further improved AI-based diagnostic accuracy and robustness, achieving the highest overall diagnostic performance for HCM (AUC=0.959, CI [0.936-0.978]), CA (AUC=0.966, CI [0.939-0.986]), NOR (AUC=0.872, CI [0.852-0.894]), DCM (AUC=0.848, CI [0.808-0.885]) and ICM (AUC=0.840, CI [0.809-0.868]). All training and inference code, along with the trained model weights, are publicly available on https://github.com/sinaamirrajab/CMR_CVD.