vesselFM: A Foundation Model for Universal 3D Blood Vessel Segmentation
作者: Bastian Wittmann, Yannick Wattenberg, Tamaz Amiranashvili, Suprosanna Shit, Bjoern Menze
分类: eess.IV, cs.CV
发布日期: 2024-11-26 (更新: 2025-03-14)
💡 一句话要点
提出vesselFM，用于通用三维血管分割的医学图像基础模型
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 三维血管分割 基础模型 零样本学习 领域泛化 医学图像分析
📋 核心要点
- 现有血管分割方法在不同成像模态和协议下泛化性差，需要大量标注数据，限制了其应用。
- vesselFM通过在异构数据源上训练，包括真实标注数据、领域随机化数据和生成模型数据，实现零样本泛化。
- 实验表明，vesselFM在多种成像模态下，零样本、单样本和少样本分割性能均优于现有医学图像分割基础模型。
📝 摘要（中文）
三维血管分割是医学图像分析中一项关键但具有挑战性的任务。由于成像方式在伪影、血管模式和尺度、信噪比以及背景组织方面存在显著差异，加之不同成像协议带来的领域差距，现有基于监督学习的方法泛化能力受限，需要为每个数据集单独进行繁琐的体素级标注。虽然基础模型有望缓解这一限制，但它们通常无法推广到血管分割任务，这是一个独特的复杂问题。本文提出了vesselFM，一个专门为广泛的三维血管分割任务设计的基础模型。与以往的模型不同，vesselFM可以轻松地推广到未见过的领域。为了实现零样本泛化，我们使用三个异构数据源训练vesselFM：一个大型的、精心策划的标注数据集，通过领域随机化方案生成的数据，以及从基于流匹配的生成模型中采样的数据。广泛的评估表明，vesselFM在零样本、单样本和少样本场景中，优于最先进的医学图像分割基础模型，适用于四种（临床前）相关的成像方式，因此为三维血管分割提供了一个通用的解决方案。
🔬 方法详解
问题定义：论文旨在解决三维血管分割任务中，现有方法在面对不同成像模态和成像协议时泛化能力不足的问题。现有方法通常需要针对特定数据集进行大量体素级别的标注，耗时耗力，且难以推广到新的领域。因此，如何构建一个能够适应各种成像条件，无需大量标注即可实现精确血管分割的模型是本研究要解决的核心问题。
核心思路：论文的核心思路是训练一个通用的血管分割基础模型vesselFM，使其具备强大的零样本泛化能力。通过在多样化的数据源上进行训练，包括真实标注数据、领域随机化生成的数据以及基于流匹配的生成模型生成的数据，使模型能够学习到血管分割的通用特征，从而适应不同的成像模态和协议。
技术框架：vesselFM的训练框架主要包含三个部分：1) 使用大规模真实标注数据集进行监督学习；2) 使用领域随机化技术生成模拟数据，增加数据的多样性；3) 使用基于流匹配的生成模型生成更多样化的血管结构数据。这三个部分的数据共同用于训练vesselFM，使其能够学习到鲁棒的血管特征表示。模型推理阶段，可以直接在新的成像数据上进行零样本分割，或者使用少量标注数据进行微调。
关键创新：vesselFM的关键创新在于其训练策略，即结合了真实标注数据、领域随机化数据和生成模型数据。这种混合训练策略能够有效地提高模型的泛化能力，使其能够适应不同的成像模态和协议。此外，vesselFM是首个专门为三维血管分割任务设计的基础模型，填补了该领域的空白。
关键设计：论文中领域随机化方案的具体参数设置未知。损失函数和网络结构的选择也未详细说明，但推测使用了常见的分割损失函数（如Dice Loss或Cross-Entropy Loss）和三维卷积神经网络（如U-Net）。流匹配生成模型的具体实现细节也未知。
🖼️ 关键图片
📊 实验亮点
vesselFM在四种不同的成像模态（包括临床前和临床相关）上进行了评估，结果表明其在零样本、单样本和少样本场景下均优于现有的医学图像分割基础模型。具体的性能提升数据在论文中给出，但在此处未提供。
🎯 应用场景
vesselFM在临床医学、生物医学研究等领域具有广泛的应用前景。它可以用于辅助医生进行疾病诊断、手术规划和疗效评估，例如脑血管疾病、心血管疾病等。此外，vesselFM还可以用于生物医学研究中，例如血管生成、肿瘤血管等方面的研究。该研究有望推动医学图像分析的自动化和智能化，提高医疗效率和质量。
📄 摘要（原文）
Segmenting 3D blood vessels is a critical yet challenging task in medical image analysis. This is due to significant imaging modality-specific variations in artifacts, vascular patterns and scales, signal-to-noise ratios, and background tissues. These variations, along with domain gaps arising from varying imaging protocols, limit the generalization of existing supervised learning-based methods, requiring tedious voxel-level annotations for each dataset separately. While foundation models promise to alleviate this limitation, they typically fail to generalize to the task of blood vessel segmentation, posing a unique, complex problem. In this work, we present vesselFM, a foundation model designed specifically for the broad task of 3D blood vessel segmentation. Unlike previous models, vesselFM can effortlessly generalize to unseen domains. To achieve zero-shot generalization, we train vesselFM on three heterogeneous data sources: a large, curated annotated dataset, data generated by a domain randomization scheme, and data sampled from a flow matching-based generative model. Extensive evaluations show that vesselFM outperforms state-of-the-art medical image segmentation foundation models across four (pre-)clinically relevant imaging modalities in zero-, one-, and few-shot scenarios, therefore providing a universal solution for 3D blood vessel segmentation.