Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained Image Foundation Models

📄 arXiv: 2310.19721v3 📥 PDF

作者: Hao Li, Han Liu, Dewei Hu, Jiacheng Wang, Ipek Oguz

分类: eess.IV, cs.CV

发布日期: 2023-10-30 (更新: 2023-11-13)

备注: updated acknowledgments and fixed typos

🔗 代码/项目: GITHUB

💡 一句话要点

提出ProMISe以解决医学图像分割中的数据获取与标签可用性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分割 深度学习 迁移学习 预训练模型 边界感知损失 3D图像处理 肿瘤检测

📋 核心要点

  1. 现有医学图像分割方法面临数据获取困难、标签稀缺以及2D模型向3D任务迁移的挑战。
  2. 本文提出ProMISe模型，通过单点提示利用预训练的2D图像模型，集成轻量适配器提取3D空间上下文。
  3. 在结肠和胰腺肿瘤分割任务中，ProMISe在性能上优于现有的最先进方法，显示出显著的提升。

📝 摘要（中文）

为了解决医学成像中普遍存在的数据获取挑战和标签可用性问题，本文提出了一种基于提示的3D医学图像分割模型ProMISe。该模型利用预训练的2D图像基础模型，通过单点提示来提取深度相关的空间上下文，而无需更新预训练权重。我们设计了一个混合网络，结合互补编码器，并提出了一种边界感知损失函数，以实现精确的分割边界。通过在两个公共数据集上进行评估，ProMISe在结肠和胰腺肿瘤分割任务中表现出优越的性能，超越了现有的最先进分割方法。代码已公开发布。

🔬 方法详解

问题定义：本文旨在解决医学图像分割中数据获取困难和标签可用性不足的问题。现有方法在处理2D到3D的迁移时，面临对比差异、解剖变异性管理等挑战。

核心思路：ProMISe模型通过单点提示来利用预训练的2D图像基础模型，设计轻量适配器以提取3D空间上下文，避免了对预训练权重的更新。

技术框架：模型整体架构包括一个混合网络，结合多个互补编码器，使用边界感知损失函数来优化分割精度。

关键创新：最重要的创新在于通过单点提示实现3D医学图像分割，突破了传统方法在领域间迁移的限制，提供了一种新的思路。

关键设计：模型采用边界感知损失函数，确保分割边界的精确性，同时轻量适配器的设计使得模型在不更新预训练权重的情况下，依然能够有效提取3D信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在结肠和胰腺肿瘤分割任务中，ProMISe模型的表现超越了现有的最先进方法，具体性能数据表明，模型在分割精度上提升了XX%，显示出其在医学图像处理中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、肿瘤检测与分割等，能够为临床诊断提供更为准确的辅助工具。未来，ProMISe模型有望推广至其他医学成像任务，提升整体医疗服务质量。

📄 摘要（原文）

To address prevalent issues in medical imaging, such as data acquisition challenges and label availability, transfer learning from natural to medical image domains serves as a viable strategy to produce reliable segmentation results. However, several existing barriers between domains need to be broken down, including addressing contrast discrepancies, managing anatomical variability, and adapting 2D pretrained models for 3D segmentation tasks. In this paper, we propose ProMISe,a prompt-driven 3D medical image segmentation model using only a single point prompt to leverage knowledge from a pretrained 2D image foundation model. In particular, we use the pretrained vision transformer from the Segment Anything Model (SAM) and integrate lightweight adapters to extract depth-related (3D) spatial context without updating the pretrained weights. For robust results, a hybrid network with complementary encoders is designed, and a boundary-aware loss is proposed to achieve precise boundaries. We evaluate our model on two public datasets for colon and pancreas tumor segmentations, respectively. Compared to the state-of-the-art segmentation methods with and without prompt engineering, our proposed method achieves superior performance. The code is publicly available at https://github.com/MedICL-VU/ProMISe.