Revisiting foundation models for cell instance segmentation

📄 arXiv: 2603.17845v1 📥 PDF

作者: Anwai Archit, Constantin Pape

分类: cs.CV

发布日期: 2026-03-18

备注: Published in MIDL 2026

🔗 代码/项目: GITHUB

💡 一句话要点

针对细胞实例分割，论文评估并改进了基于SAM的多个Foundation Model

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细胞分割 实例分割 Foundation Model 分割一切模型(SAM) 自动提示生成 显微图像分析 生物医学图像

📋 核心要点

  1. 现有的细胞分割Foundation Model大多是SAM的扩展，在显微镜数据上仍有提升空间，且缺乏对最新通用分割模型的全面评估。
  2. 论文提出自动提示生成（APG）策略，通过自动生成有效的分割提示，提升SAM系列模型在细胞分割任务上的性能。
  3. 实验表明，APG能有效提升$μ$SAM的分割效果，使其与CellPoseSAM等先进模型具有竞争力，并为后续研究提供借鉴。

📝 摘要（中文）

细胞分割是显微镜图像分析中的一项基本任务。目前已经有多个用于细胞分割的Foundation Model，它们几乎都是分割一切模型（SAM）的扩展，旨在改进其在显微镜数据上的性能。最近，SAM2和SAM3的发布进一步提升和扩展了通用分割Foundation Model的能力。本文全面评估了用于细胞分割的Foundation Model（CellPoseSAM、CellSAM、$μ$SAM）和用于通用分割的Foundation Model（SAM、SAM2、SAM3）在一组多样化的（光学）显微镜数据集上的性能，任务包括细胞、细胞核和类器官分割。此外，本文还提出了一种新的实例分割策略，称为自动提示生成（APG），可用于进一步改进基于SAM的显微镜Foundation Model。APG一致地提高了以$μ$SAM为基础模型的分割结果，并且与最先进的模型CellPoseSAM具有竞争力。此外，本文的工作为SAM风格模型在显微镜下的适应策略提供了重要的经验，并为创建更强大的显微镜Foundation Model提供了一种策略。代码已公开。

🔬 方法详解

问题定义：细胞实例分割是显微图像分析中的关键步骤，旨在准确识别和分割图像中的单个细胞。现有方法，特别是基于SAM的Foundation Model，虽然在通用分割任务上表现出色，但在处理复杂的显微图像时，仍然面临挑战，例如细胞形状不规则、细胞间粘连等问题，导致分割精度不足。此外，如何有效地将通用分割模型适应于特定的显微图像数据也是一个重要的研究方向。

核心思路：论文的核心思路是通过自动生成有效的分割提示来引导SAM系列模型进行更精确的细胞分割。这种方法避免了手动设计提示的繁琐和主观性，并能够根据图像内容自适应地生成最佳提示，从而提高分割性能。

技术框架：整体流程包括：1) 使用预训练的SAM系列模型（如SAM, SAM2, SAM3, CellPoseSAM, CellSAM, $μ$SAM）作为基础分割模型；2) 引入自动提示生成（APG）模块，该模块负责根据输入图像自动生成分割提示；3) 将生成的提示输入到基础分割模型中，得到最终的细胞实例分割结果。APG模块与基础分割模型结合，形成一个端到端的细胞实例分割系统。

关键创新：论文的关键创新在于提出了自动提示生成（APG）策略。与传统的手动提示或基于规则的提示生成方法不同，APG能够根据图像内容自适应地生成最佳提示，从而显著提高分割精度。这种方法具有通用性，可以应用于不同的SAM系列模型，并能够有效地处理复杂的显微图像。

关键设计：APG模块的具体实现细节未知，论文中可能没有详细描述其内部结构和算法。但是，可以推测APG模块可能采用了某种机器学习方法（例如，训练一个小型神经网络）来学习如何根据图像内容生成有效的分割提示。此外，损失函数的设计也是一个关键因素，可能需要结合分割精度和提示的有效性来设计损失函数，以优化APG模块的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，自动提示生成（APG）策略能够有效提升$μ$SAM的分割性能，使其在多个显微镜数据集上与最先进的模型CellPoseSAM具有竞争力。具体性能数据未知，但论文强调APG能够一致地提高分割结果，并为SAM风格模型在显微镜下的应用提供了重要的经验。

🎯 应用场景

该研究成果可广泛应用于生物医学图像分析领域，例如细胞计数、细胞形态分析、药物筛选等。通过提高细胞分割的精度和效率，可以加速相关研究的进展，并为疾病诊断和治疗提供更准确的依据。未来，该方法有望扩展到其他类型的生物医学图像分割任务，例如组织病理图像分析、医学影像分析等。

📄 摘要（原文）

Cell segmentation is a fundamental task in microscopy image analysis. Several foundation models for cell segmentation have been introduced, virtually all of them are extensions of Segment Anything Model (SAM), improving it for microscopy data. Recently, SAM2 and SAM3 have been published, further improving and extending the capabilities of general-purpose segmentation foundation models. Here, we comprehensively evaluate foundation models for cell segmentation (CellPoseSAM, CellSAM, $μ$SAM) and for general-purpose segmentation (SAM, SAM2, SAM3) on a diverse set of (light) microscopy datasets, for tasks including cell, nucleus and organoid segmentation. Furthermore, we introduce a new instance segmentation strategy called automatic prompt generation (APG) that can be used to further improve SAM-based microscopy foundation models. APG consistently improves segmentation results for $μ$SAM, which is used as the base model, and is competitive with the state-of-the-art model CellPoseSAM. Moreover, our work provides important lessons for adaptation strategies of SAM-style models to microscopy and provides a strategy for creating even more powerful microscopy foundation models. Our code is publicly available at https://github.com/computational-cell-analytics/micro-sam.