SAM3D: Zero-Shot Semi-Automatic Segmentation in 3D Medical Images with the Segment Anything Model

📄 arXiv: 2405.06786v2 📥 PDF

作者: Trevor J. Chan, Aarush Sahni, Yijin Fang, Jie Li, Alisha Luthra, Alison Pouch, Chamith S. Rajapakse

分类: eess.IV, cs.CV

发布日期: 2024-05-10 (更新: 2024-08-07)

💡 一句话要点

SAM3D：基于SAM的3D医学图像零样本半自动分割方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D医学图像分割 零样本学习 半自动分割 Segment Anything Model 用户交互

📋 核心要点

  1. 现有3D医学图像分割方法依赖大量标注数据，难以应用于缺乏标注的新模态或新器官。
  2. SAM3D利用Segment Anything Model的强大泛化能力，结合少量用户交互实现3D图像的零样本分割。
  3. 实验表明，SAM3D在多种医学图像模态和解剖结构上表现良好，无需训练或微调。

📝 摘要（中文）

本文提出了一种名为SAM3D的新方法，它构建于现有的Segment Anything Model之上，用于3D图像的半自动零样本分割。该方法通过一个四步策略实现3D图像的快速准确分割：用户使用3D折线进行提示，沿多个轴对体积进行切片，使用预训练模型进行切片范围的推理，以及在3D中进行重组和细化。我们在各种成像模式和解剖结构上对SAM3D的性能进行了定性评估，并量化了腹盆CT和脑MRI中特定结构的性能。值得注意的是，我们的方法在没有模型训练或微调的情况下实现了良好的性能，使其特别适用于缺乏预先标记数据的任务。通过使用户能够快速且以显著减少的人工输入创建未见数据的3D分割，这些方法有可能帮助手术计划和教育、诊断成像和科学研究。

🔬 方法详解

问题定义：现有的3D医学图像分割方法通常需要大量的标注数据进行训练，这在标注数据稀缺的情况下是一个巨大的挑战。此外，针对特定模态或器官训练的模型，泛化能力较差，难以直接应用于新的模态或器官。因此，如何在缺乏标注数据的情况下，实现对3D医学图像的快速、准确分割是一个亟待解决的问题。

核心思路：SAM3D的核心思路是利用Segment Anything Model (SAM) 在2D图像分割上的强大泛化能力，结合少量的用户交互（3D折线提示），实现对3D医学图像的零样本分割。通过将3D图像切片成2D图像，并利用SAM进行分割，可以避免从头训练或微调模型，从而解决标注数据稀缺的问题。

技术框架：SAM3D的整体流程包括四个主要步骤：1) 用户使用3D折线在3D图像中进行提示；2) 将3D图像沿多个轴（例如，轴向、冠状和矢状）进行切片；3) 使用预训练的SAM模型对每个切片进行分割推理；4) 将分割结果在3D空间中进行重组和细化，得到最终的3D分割结果。

关键创新：SAM3D的关键创新在于将2D图像分割模型SAM成功应用于3D医学图像分割任务，并且实现了零样本分割。与传统的3D分割方法相比，SAM3D无需训练或微调模型，大大降低了对标注数据的需求。此外，通过结合用户交互，可以提高分割的准确性和鲁棒性。

关键设计：SAM3D的关键设计包括：1) 使用3D折线作为用户提示，可以更精确地指定感兴趣的区域；2) 沿多个轴进行切片，可以充分利用3D图像的信息；3) 使用预训练的SAM模型，避免了从头训练的需要；4) 在3D空间中进行重组和细化，可以提高分割结果的质量。具体的参数设置和网络结构沿用了SAM的默认设置，没有进行额外的调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAM3D在腹盆CT和脑MRI等多种医学图像模态上进行了定性评估，并在特定结构上进行了定量评估，结果表明SAM3D在没有模型训练或微调的情况下实现了良好的分割性能。该方法显著减少了人工输入，使得用户能够快速创建3D分割，极大地提高了效率。

🎯 应用场景

SAM3D在医学领域具有广泛的应用前景，包括手术计划、医学教育、诊断成像和科学研究。它可以帮助医生快速准确地分割3D医学图像，从而提高诊断的准确性和效率，辅助手术计划的制定，并为医学研究提供更多的数据支持。由于其零样本的特性，SAM3D特别适用于缺乏标注数据的场景，例如罕见疾病的研究。

📄 摘要（原文）

We introduce SAM3D, a new approach to semi-automatic zero-shot segmentation of 3D images building on the existing Segment Anything Model. We achieve fast and accurate segmentations in 3D images with a four-step strategy involving: user prompting with 3D polylines, volume slicing along multiple axes, slice-wide inference with a pretrained model, and recomposition and refinement in 3D. We evaluated SAM3D performance qualitatively on an array of imaging modalities and anatomical structures and quantify performance for specific structures in abdominal pelvic CT and brain MRI. Notably, our method achieves good performance with zero model training or finetuning, making it particularly useful for tasks with a scarcity of preexisting labeled data. By enabling users to create 3D segmentations of unseen data quickly and with dramatically reduced manual input, these methods have the potential to aid surgical planning and education, diagnostic imaging, and scientific research.