FetalCLIP: A Visual-Language Foundation Model for Fetal Ultrasound Image Analysis
作者: Fadillah Maani, Numan Saeed, Tausifa Saleem, Zaid Farooq, Hussain Alasmawi, Werner Diehl, Ameera Mohammad, Gareth Waring, Saudabi Valappi, Leanne Bricker, Mohammad Yaqub
分类: eess.IV, cs.AI, cs.CV
发布日期: 2025-02-20 (更新: 2025-10-19)
💡 一句话要点
FetalCLIP：用于胎儿超声图像分析的视觉-语言基础模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 胎儿超声图像 视觉-语言模型 对比学习 多模态学习 迁移学习 先天性心脏缺陷 胎龄估计
📋 核心要点
- 胎儿超声图像复杂，现有基础模型需要大量额外训练，且缺乏多模态配对数据。
- FetalCLIP通过多模态学习，利用大规模配对的胎儿超声图像和文本数据进行预训练。
- FetalCLIP在胎儿超声应用中优于基线，即使在有限标记数据下也表现出卓越的泛化能力。
📝 摘要（中文）
本文提出FetalCLIP，一个用于生成胎儿超声图像通用表征的视觉-语言基础模型。由于胎儿超声图像的复杂性，现有基础模型在该领域面临挑战，需要大量额外训练，并受限于多模态配对数据的稀缺。为克服这些挑战，FetalCLIP采用多模态学习方法，利用包含210,035张胎儿超声图像及其配对文本的大规模数据集进行预训练，这是迄今为止用于基础模型开发的最大规模的同类配对数据集。这种独特的训练方法使FetalCLIP能够有效地学习胎儿超声图像中复杂的解剖特征，从而产生可用于各种下游应用的鲁棒表征。在包括分类、胎龄估计、先天性心脏缺陷（CHD）检测和胎儿结构分割等一系列关键胎儿超声应用中，FetalCLIP优于所有基线，即使在标记数据有限的情况下也表现出卓越的泛化能力和强大的性能。该模型计划公开发布，以供更广泛的科学界使用。
🔬 方法详解
问题定义：胎儿超声图像分析任务面临的挑战在于图像的复杂性和多变性，以及缺乏大规模的标注数据。现有方法通常需要针对特定任务进行微调，泛化能力有限。此外，缺乏有效的利用文本信息的方法，限制了模型对图像内容的理解能力。
核心思路：FetalCLIP的核心思路是利用视觉-语言对比学习（Vision-Language Contrastive Learning）框架，将胎儿超声图像和对应的文本描述嵌入到同一个多模态空间中。通过最大化图像和文本描述之间的相似性，模型能够学习到图像中蕴含的语义信息，从而提高模型的泛化能力和鲁棒性。
技术框架：FetalCLIP的整体架构包含图像编码器和文本编码器两个主要模块。图像编码器负责将胎儿超声图像转换为视觉特征向量，文本编码器负责将文本描述转换为文本特征向量。然后，通过对比学习损失函数，促使图像和文本的特征向量在多模态空间中对齐。预训练完成后，可以将图像编码器单独用于各种下游任务，例如分类、分割和检测。
关键创新：FetalCLIP的关键创新在于其大规模的多模态预训练数据集和视觉-语言对比学习框架。通过使用包含210,035张胎儿超声图像及其配对文本的大规模数据集，模型能够学习到更丰富的图像特征和语义信息。与传统的单模态学习方法相比，视觉-语言对比学习能够更好地利用文本信息，提高模型的理解能力和泛化能力。
关键设计：图像编码器可以使用各种卷积神经网络，例如ResNet或EfficientNet。文本编码器可以使用Transformer模型，例如BERT或RoBERTa。对比学习损失函数可以使用InfoNCE损失函数。在训练过程中，需要调整图像编码器和文本编码器的学习率，以及对比学习损失函数的权重。此外，数据增强技术，例如随机裁剪、旋转和颜色抖动，可以用于提高模型的鲁棒性。
🖼️ 关键图片
📊 实验亮点
FetalCLIP在多个胎儿超声应用中取得了显著的性能提升。例如，在先天性心脏缺陷（CHD）检测任务中，FetalCLIP的准确率超过了现有基线模型。在胎龄估计任务中，FetalCLIP的预测误差也显著降低。此外，实验结果表明，FetalCLIP在有限标记数据的情况下也表现出强大的泛化能力，这表明其具有很高的实用价值。
🎯 应用场景
FetalCLIP在胎儿医学领域具有广泛的应用前景，可用于辅助医生进行胎儿发育评估、疾病诊断和治疗方案制定。例如，可以利用FetalCLIP进行胎龄估计、先天性心脏缺陷检测和胎儿结构分割，提高诊断准确率和效率。此外，FetalCLIP还可以用于远程医疗和医学教育，为偏远地区的孕妇提供高质量的医疗服务，并为医学生提供更直观的学习工具。
📄 摘要（原文）
Foundation models are becoming increasingly effective in the medical domain, offering pre-trained models on large datasets that can be readily adapted for downstream tasks. Despite progress, fetal ultrasound images remain a challenging domain for foundation models due to their inherent complexity, often requiring substantial additional training and facing limitations due to the scarcity of paired multimodal data. To overcome these challenges, here we introduce FetalCLIP, a vision-language foundation model capable of generating universal representation of fetal ultrasound images. FetalCLIP was pre-trained using a multimodal learning approach on a diverse dataset of 210,035 fetal ultrasound images paired with text. This represents the largest paired dataset of its kind used for foundation model development to date. This unique training approach allows FetalCLIP to effectively learn the intricate anatomical features present in fetal ultrasound images, resulting in robust representations that can be used for a variety of downstream applications. In extensive benchmarking across a range of key fetal ultrasound applications, including classification, gestational age estimation, congenital heart defect (CHD) detection, and fetal structure segmentation, FetalCLIP outperformed all baselines while demonstrating remarkable generalizability and strong performance even with limited labeled data. We plan to release the FetalCLIP model publicly for the benefit of the broader scientific community.