One-shot Localization and Segmentation of Medical Images with Foundation Models

📄 arXiv: 2310.18642v1 📥 PDF

作者: Deepa Anand, Gurunath Reddy M, Vanika Singhal, Dattesh D. Shanbhag, Shriram KS, Uday Patil, Chitresh Bhushan, Kavitha Manickam, Dawei Gui, Rakesh Mullick, Avinash Gopal, Parminder Bhatia, Taha Kass-Hout

分类: cs.CV, cs.AI

发布日期: 2023-10-28

备注: Accepted at NeurIPS 2023 R0-FoMo Workshop

💡 一句话要点

提出基于基础模型的一次性医学图像定位与分割方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分割 视觉变换器 稳定扩散 一次性分割 少量样本学习 语义分割 预训练模型

📋 核心要点

  1. 现有医学图像分割方法通常依赖于大量标注数据，限制了其在临床应用中的灵活性和效率。
  2. 本文提出了一种利用预训练的基础模型进行一次性医学图像分割的方法，能够在仅使用一张参考图像的情况下实现高效分割。
  3. 实验结果显示，所提方法在多种医学成像模态上均优于现有的少量样本分割方法，展现出更高的准确性和适应性。

📝 摘要（中文）

近年来，视觉变换器（ViT）和稳定扩散（SD）模型在自然图像的图像对应任务中表现出色。本文探讨了多种预训练的ViT（如DINO、DINOv2、SAM、CLIP）和SD模型在医学图像上的应用，尽管这些模型主要在自然图像上训练。研究表明，这些模型在不同模态（CT、MRI、超声）和多个解剖区域（脑、胸部、腹部、四肢）的医学图像上均能取得良好性能。通过与模板图像的对应关系，利用SAM模型实现了一次性分割，Dice系数在62%-90%之间，且该方法在大多数语义分割任务中超越了最近提出的少量样本分割方法UniverSeg（Dice范围47%-80%）。

🔬 方法详解

问题定义：本文旨在解决医学图像分割中对大量标注数据的依赖问题，现有方法在数据稀缺情况下表现不佳，限制了其应用。

核心思路：通过利用在自然图像上训练的预训练模型，结合模板图像的对应关系，提出了一种一次性分割的方法，旨在提高医学图像分割的效率和准确性。

技术框架：整体框架包括预训练模型的选择（如DINO、SAM等）、模板图像的选择与处理、以及最终的分割输出。该方法通过引导模型关注特定解剖区域，实现高效分割。

关键创新：最重要的创新在于首次将自然图像训练的基础模型应用于医学图像分割，并且实现了一次性分割，显著减少了对标注数据的需求。

关键设计：在模型设计中，采用了Dice系数作为评估指标，并对模型的超参数进行了优化，以确保在不同医学成像模态下的适应性和性能。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，所提的一次性分割方法在多个医学成像模态上取得了62%-90%的Dice系数，显著优于UniverSeg的47%-80%表现，尤其在六个语义分割任务中表现出色，展示了该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床诊断辅助工具以及远程医疗等。通过减少对标注数据的需求，该方法能够加速医学图像处理的自动化进程，提高临床工作效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recent advances in Vision Transformers (ViT) and Stable Diffusion (SD) models with their ability to capture rich semantic features of the image have been used for image correspondence tasks on natural images. In this paper, we examine the ability of a variety of pre-trained ViT (DINO, DINOv2, SAM, CLIP) and SD models, trained exclusively on natural images, for solving the correspondence problems on medical images. While many works have made a case for in-domain training, we show that the models trained on natural images can offer good performance on medical images across different modalities (CT,MR,Ultrasound) sourced from various manufacturers, over multiple anatomical regions (brain, thorax, abdomen, extremities), and on wide variety of tasks. Further, we leverage the correspondence with respect to a template image to prompt a Segment Anything (SAM) model to arrive at single shot segmentation, achieving dice range of 62%-90% across tasks, using just one image as reference. We also show that our single-shot method outperforms the recently proposed few-shot segmentation method - UniverSeg (Dice range 47%-80%) on most of the semantic segmentation tasks(six out of seven) across medical imaging modalities.