BAAI Cardiac Agent: An intelligent multimodal agent for automated reasoning and diagnosis of cardiovascular diseases from cardiac magnetic resonance imaging

📄 arXiv: 2604.04078 📥 PDF

作者: Taiping Qu, Hongkai Zhang, Lantian Zhang, Can Zhao, Nan Zhang, Hui Wang, Zhen Zhou, Mingye Zou, Kairui Bo, Pengfei Zhao, Xingxing Jin, Zixian Su, Kun Jiang, Huan Liu, Yu Du, Maozhou Wang, Ruifang Yan, Zhongyuan Wang, Tiejun Huang, Lei Xu, Henggui Zhang

分类: eess.IV, cs.AI, cs.CV

发布日期: 2026-04-07

💡 一句话要点

BAAI Cardiac Agent：用于心血管疾病自动推理与诊断的多模态智能体

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心脏磁共振成像 心血管疾病诊断 多模态智能体 深度学习 医学影像分析

📋 核心要点

  1. 心血管疾病诊断依赖心脏磁共振成像，但其复杂性限制了应用，需要专业知识进行多序列、多相位的解读。
  2. BAAI Cardiac Agent 整合心脏专家模型，实现心脏结构分割、功能量化、组织表征和疾病诊断的自动化端到端流程。
  3. 实验表明，该智能体在分割、诊断任务中优于现有模型，生成的临床报告与专家放射科医生高度一致，性能优异。

📝 摘要（中文）

心脏磁共振(CMR)是诊断心血管疾病的基石。然而，由于其复杂性、耗时的多序列解读、相位分析以及对专业知识的高度依赖，CMR的应用仍然不足。本文提出了BAAI Cardiac Agent，一个为端到端CMR解读而设计的多模态智能系统。该智能体集成了专门的心脏专家模型，以在统一的工作流程中执行心脏结构的自动分割、功能量化、组织表征和疾病诊断，并生成结构化的临床报告。在来自两家医院（2413名患者）的CMR数据集上进行了评估，这些数据集涵盖了7种主要心血管疾病，该智能体在内部测试中实现了超过0.93的受试者工作特征曲线下面积，在外部测试中超过0.81。在估计左心室功能指标的任务中，该系统生成的核心参数（如射血分数、搏出量和左心室质量）与临床报告高度一致，皮尔逊相关系数均超过0.90。该智能体在分割和诊断任务中优于最先进的模型，并生成的临床报告与专家放射科医生（来自三个经验级别的六位读者）高度一致。通过动态协调专家模型进行协同多模态分析，该智能体框架实现了准确、高效的CMR解读，并突出了其在复杂临床影像工作流程中的潜力。

🔬 方法详解

问题定义：心脏磁共振成像(CMR)在心血管疾病诊断中至关重要，但其解读过程复杂耗时，需要专业知识，导致应用受限。现有方法在自动化解读方面存在不足，难以实现端到端的智能分析和诊断。

核心思路：BAAI Cardiac Agent的核心思路是构建一个多模态智能体，通过整合多个专业的心脏专家模型，实现对CMR图像的全面分析和诊断。该智能体能够自动执行心脏结构的分割、功能量化、组织表征和疾病诊断，并生成结构化的临床报告，从而简化CMR解读流程，提高诊断效率和准确性。

技术框架：BAAI Cardiac Agent采用模块化的架构，包含以下主要模块：1)图像预处理模块：对CMR图像进行标准化和增强；2)心脏结构分割模块：利用深度学习模型自动分割心脏的各个结构；3)功能量化模块：根据分割结果计算心脏的功能指标，如射血分数、搏出量等；4)组织表征模块：分析心肌组织的特征，如是否存在水肿、纤维化等；5)疾病诊断模块：根据以上分析结果，诊断患者可能患有的心血管疾病；6)报告生成模块：生成结构化的临床报告，方便医生阅读和理解。

关键创新：该论文的关键创新在于构建了一个多模态智能体，能够动态协调多个专家模型进行协同分析。与传统的单任务模型相比，该智能体能够更全面地理解CMR图像，并做出更准确的诊断。此外，该智能体还能够生成结构化的临床报告，方便医生使用。

关键设计：在心脏结构分割模块中，采用了基于深度学习的分割模型，并针对心脏结构的特点进行了优化。在功能量化模块中，采用了精确的算法来计算心脏的功能指标。在疾病诊断模块中，采用了基于规则和机器学习的方法，综合考虑各种因素进行诊断。损失函数的设计也至关重要，需要平衡分割精度和诊断准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BAAI Cardiac Agent 在内部测试中实现了超过0.93的AUC，在外部测试中超过0.81。在左心室功能指标估计任务中，核心参数（如射血分数、搏出量和左心室质量）与临床报告的相关系数均超过0.90。该智能体在分割和诊断任务中优于现有模型，生成的临床报告与专家放射科医生高度一致。

🎯 应用场景

BAAI Cardiac Agent 有望应用于临床心血管疾病的辅助诊断、远程医疗和大规模筛查。它可以提高诊断效率，减少对专业医生的依赖，并为患者提供更快速、准确的诊断结果。未来，该技术可扩展到其他医学影像领域，助力实现更智能化的医疗服务。

📄 摘要（原文）

Cardiac magnetic resonance (CMR) is a cornerstone for diagnosing cardiovascular disease. However, it remains underutilized due to complex, time-consuming interpretation across multi-sequences, phases, quantitative measures that heavily reliant on specialized expertise. Here, we present BAAI Cardiac Agent, a multimodal intelligent system designed for end-to-end CMR interpretation. The agent integrates specialized cardiac expert models to perform automated segmentation of cardiac structures, functional quantification, tissue characterization and disease diagnosis, and generates structured clinical reports within a unified workflow. Evaluated on CMR datasets from two hospitals (2413 patients) spanning 7-types of major cardiovascular diseases, the agent achieved an area under the receiver-operating-characteristic curve exceeding 0.93 internally and 0.81 externally. In the task of estimating left ventricular function indices, the results generated by this system for core parameters such as ejection fraction, stroke volume, and left ventricular mass are highly consistent with clinical reports, with Pearson correlation coefficients all exceeding 0.90. The agent outperformed state-of-the-art models in segmentation and diagnostic tasks, and generated clinical reports showing high concordance with expert radiologists (six readers across three experience levels). By dynamically orchestrating expert models for coordinated multimodal analysis, this agent framework enables accurate, efficient CMR interpretation and highlights its potentials for complex clinical imaging workflows. Code is available atthis https URL.