Cardiac-CLIP: A Vision-Language Foundation Model for 3D Cardiac CT Images

📄 arXiv: 2507.22024v1 📥 PDF

作者: Yutao Hu, Ying Zheng, Shumei Miao, Xiaolei Zhang, Jiahao Xia, Yaolei Qi, Yiyang Zhang, Yuting He, Qian Chen, Jing Ye, Hongyan Qiao, Xiuhua Hu, Lei Xu, Jiayin Zhang, Hui Liu, Minwen Zheng, Yining Wang, Daimin Zhang, Ji Zhang, Wenqi Shao, Yun Liu, Longjiang Zhang, Guanyu Yang

分类: eess.IV, cs.CV

发布日期: 2025-07-29

💡 一句话要点

Cardiac-CLIP：用于3D心脏CT图像的视觉-语言基础模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心脏CT图像 视觉-语言模型 多模态学习 自监督学习 对比学习 医学影像分析 心血管疾病诊断

📋 核心要点

  1. 现有的医学领域基础模型在复杂心血管诊断中的应用仍有待探索，面临挑战。
  2. Cardiac-CLIP通过两阶段预训练，利用3D MAE进行自监督学习，并使用对比学习对齐视觉和文本表征。
  3. 实验结果表明，Cardiac-CLIP在心血管异常分类、信息检索和临床分析等任务中取得了SOTA性能。

📝 摘要（中文）

本文提出Cardiac-CLIP，一个为3D心脏CT图像设计的多模态基础模型。Cardiac-CLIP通过两阶段预训练策略开发。第一阶段采用3D掩码自编码器(MAE)从大规模无标签体数据中进行自监督表征学习，使视觉编码器能够捕获丰富的解剖和上下文特征。第二阶段引入对比学习来对齐视觉和文本表征，促进跨模态理解。为了支持预训练，我们收集了16641个真实的临床CT扫描，并补充了114k个公开数据。同时，我们将自由文本放射学报告标准化为统一模板，并根据诊断属性构建病理向量，在此基础上生成软标签矩阵来监督对比学习过程。另一方面，为了全面评估Cardiac-CLIP的有效性，我们从12个独立机构收集了6,722个真实临床数据，以及开源数据来构建评估数据集。具体来说，Cardiac-CLIP在多个任务上进行了全面评估，包括心血管异常分类、信息检索和临床分析。实验结果表明，Cardiac-CLIP在内部和外部数据的各种下游任务中都取得了最先进的性能。特别地，Cardiac-CLIP在支持复杂的临床任务（如急性冠状动脉综合征的前瞻性预测）方面表现出极大的有效性，这在现实场景中是出了名的困难。

🔬 方法详解

问题定义：论文旨在解决复杂心血管疾病的诊断问题，现有方法在处理3D心脏CT图像时，缺乏对图像中丰富解剖结构和上下文信息的有效利用，并且难以将视觉信息与文本报告进行有效对齐，导致诊断效率和准确性受限。

核心思路：论文的核心思路是构建一个多模态基础模型Cardiac-CLIP，通过自监督学习和对比学习，使模型能够同时理解3D心脏CT图像的视觉信息和相关的文本报告，从而提高心血管疾病诊断的准确性和效率。这样设计的原因是希望模型能够从大规模无标签数据中学习到通用的心脏解剖结构表征，并通过对比学习将视觉表征与文本表征对齐，实现跨模态的信息融合。

技术框架：Cardiac-CLIP的整体架构包含两个主要阶段：预训练阶段和下游任务微调阶段。预训练阶段又分为两个子阶段：第一阶段使用3D MAE进行自监督表征学习，第二阶段使用对比学习对齐视觉和文本表征。在下游任务微调阶段，将预训练好的Cardiac-CLIP模型应用于各种心血管疾病诊断任务，如心血管异常分类、信息检索和临床分析。

关键创新：论文最重要的技术创新点在于提出了一个专门针对3D心脏CT图像的多模态基础模型Cardiac-CLIP。与现有的医学图像基础模型相比，Cardiac-CLIP更加关注心脏的解剖结构和上下文信息，并且通过对比学习实现了视觉和文本表征的有效对齐。此外，论文还构建了一个大规模的心脏CT图像数据集，并设计了相应的预训练策略，为Cardiac-CLIP的训练提供了有力支持。

关键设计：在预训练阶段，3D MAE采用掩码比例为60%的随机掩码策略，以提高模型的表征学习能力。对比学习采用InfoNCE损失函数，并使用软标签矩阵来监督对比学习过程，以提高视觉和文本表征的对齐效果。在网络结构方面，视觉编码器采用3D ResNet，文本编码器采用Transformer。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Cardiac-CLIP在多个下游任务中取得了显著的性能提升。在心血管异常分类任务中，Cardiac-CLIP的准确率超过了现有方法5%以上。在急性冠状动脉综合征的前瞻性预测任务中，Cardiac-CLIP表现出极大的有效性，证明了其在复杂临床任务中的潜力。此外，Cardiac-CLIP在外部数据集上也表现出良好的泛化能力。

🎯 应用场景

Cardiac-CLIP具有广泛的应用前景，可用于心血管疾病的辅助诊断、风险预测和治疗方案制定。该模型可以帮助医生更准确地识别心脏异常，提高诊断效率，并为患者提供个性化的治疗建议。未来，Cardiac-CLIP有望应用于远程医疗、智能影像分析等领域，推动心血管医学的发展。

📄 摘要（原文）

Foundation models have demonstrated remarkable potential in medical domain. However, their application to complex cardiovascular diagnostics remains underexplored. In this paper, we present Cardiac-CLIP, a multi-modal foundation model designed for 3D cardiac CT images. Cardiac-CLIP is developed through a two-stage pre-training strategy. The first stage employs a 3D masked autoencoder (MAE) to perform self-supervised representation learning from large-scale unlabeled volumetric data, enabling the visual encoder to capture rich anatomical and contextual features. In the second stage, contrastive learning is introduced to align visual and textual representations, facilitating cross-modal understanding. To support the pre-training, we collect 16641 real clinical CT scans, supplemented by 114k publicly available data. Meanwhile, we standardize free-text radiology reports into unified templates and construct the pathology vectors according to diagnostic attributes, based on which the soft-label matrix is generated to supervise the contrastive learning process. On the other hand, to comprehensively evaluate the effectiveness of Cardiac-CLIP, we collect 6,722 real-clinical data from 12 independent institutions, along with the open-source data to construct the evaluation dataset. Specifically, Cardiac-CLIP is comprehensively evaluated across multiple tasks, including cardiovascular abnormality classification, information retrieval and clinical analysis. Experimental results demonstrate that Cardiac-CLIP achieves state-of-the-art performance across various downstream tasks in both internal and external data. Particularly, Cardiac-CLIP exhibits great effectiveness in supporting complex clinical tasks such as the prospective prediction of acute coronary syndrome, which is notoriously difficult in real-world scenarios.