SAM for Robust Mitochondria Instance Segmentation in Fluorescence Microscopy

📄 arXiv: 2605.31284v1 📥 PDF

作者: Suyog Jadhav, Dilip K. Prasad, Krishna Agarwal

分类: cs.CV, cs.AI

发布日期: 2026-05-29

备注: Accepted at PHAROS-AIF-MIH workshop @ CVPR 2026

💡 一句话要点

提出基于合成数据微调SAM的方法，用于提升荧光显微镜下线粒体实例分割的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 线粒体分割 荧光显微镜 实例分割 合成数据 SAM模型 领域自适应 细胞生物学

📋 核心要点

  1. 荧光显微镜图像中线粒体实例分割面临数据稀缺和领域差异挑战，现有方法难以直接应用。
  2. 论文提出利用合成数据微调SAM模型，模拟真实荧光显微镜图像，解决数据不足问题。
  3. 实验结果表明，该方法在真实荧光显微镜图像上提高了线粒体实例分割的精度和Dice系数。

📝 摘要（中文）

荧光显微镜(FM)下线粒体的形态学分析对于理解细胞健康、能量产生和代谢调控至关重要。尽管Segment Anything Model (SAM)等基础模型彻底改变了自然图像分割，但由于衍射限制分辨率、低对比度和复杂的重叠细胞器网络等显著的领域差异，直接应用于FM受到阻碍。此外，高质量、手动标注的线粒体实例分割数据集的严重缺乏阻碍了鲁棒模型的开发。本文提出了一种可扩展的解决方案，通过仅在合成生成的FM数据上微调SAM来解决这种数据稀缺问题。我们模拟了真实的线粒体数据，并模拟了荧光显微镜的光学特性，以创建一个大规模的带注释数据集。我们在一个经过整理的真实、手动注释的FM图像数据集上评估了我们微调后的模型。定性和定量分析表明，我们的合成微调模型提高了精度和平均Dice系数，优于强大的基线模型。这项工作确立了模拟辅助训练在FM实例分割中的潜力。

🔬 方法详解

问题定义：论文旨在解决荧光显微镜图像中线粒体实例分割的鲁棒性问题。现有方法，特别是直接应用如SAM等通用分割模型，在荧光显微镜图像上表现不佳，主要原因是荧光显微镜图像具有衍射限制分辨率、低对比度和复杂的重叠细胞器网络等特点，与自然图像存在显著的领域差异。此外，高质量、人工标注的线粒体实例分割数据集非常稀缺，限制了模型的训练和泛化能力。

核心思路：论文的核心思路是利用合成数据来弥补真实数据的不足。通过模拟真实的线粒体形态和荧光显微镜的光学特性，生成大规模的带标注的合成数据集，然后使用这些合成数据来微调SAM模型。这样可以在一定程度上解决数据稀缺和领域差异的问题，提高模型在真实荧光显微镜图像上的分割性能。

技术框架：整体框架包括两个主要阶段：1) 合成数据生成阶段：使用计算机模拟生成具有真实感的线粒体荧光显微镜图像，并自动生成实例分割标注。2) 模型微调阶段：使用合成数据微调SAM模型，使其适应荧光显微镜图像的特点。微调后的模型在真实荧光显微镜图像数据集上进行评估。

关键创新：最重要的技术创新点在于利用合成数据进行模型微调，从而克服了真实数据稀缺和领域差异的挑战。与传统的直接在真实数据上训练模型的方法相比，该方法能够更有效地利用有限的真实数据，并提高模型的泛化能力。

关键设计：合成数据生成过程中，需要仔细设计线粒体的形态、分布和荧光强度，以及荧光显微镜的光学参数，以尽可能地模拟真实的荧光显微镜图像。微调SAM模型时，可以使用不同的损失函数和优化器，并调整学习率等超参数，以获得最佳的分割性能。论文中具体使用的参数设置和网络结构细节未明确给出，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用合成数据微调后的SAM模型在真实荧光显微镜图像上取得了显著的性能提升，精度和平均Dice系数均优于强大的基线模型。这验证了利用合成数据进行模型训练的有效性，并为解决生物图像分割中的数据稀缺问题提供了一种新的思路。

🎯 应用场景

该研究成果可应用于细胞生物学、医学诊断等领域，例如，可以帮助研究人员更准确地分析线粒体的形态和功能，从而深入了解细胞健康、能量产生和代谢调控等过程。此外，该方法还可以推广到其他细胞器或生物结构的分割任务中，具有广泛的应用前景。

📄 摘要（原文）

The morphological analysis of mitochondria in fluorescence microscopy (FM) is crucial for understanding cellular health, energy production, and metabolic regulation. While foundation models like the Segment Anything Model (SAM) have revolutionized natural image segmentation, their direct application to FM is hindered by a significant domain shift characterized by diffraction-limited resolution, low contrast, and complex overlapping organelle networks. Furthermore, the development of robust models is bottlenecked by a severe lack of high-quality, manually annotated instance segmentation datasets for mitochondria. In this paper, we propose a scalable solution to this data scarcity by finetuning SAM exclusively on synthetically generated FM data. We simulate realistic mitochondria data and emulate the optical properties of fluorescence microscopes to create a large-scale annotated dataset. We evaluate our fine-tuned model on a curated dataset of real, manually annotated FM images. Qualitative and quantitative analyses demonstrate that our synthetically fine-tuned model improves precision and average dice score over strong baselines. This work establishes the potential of simulation-assisted training for FM instance segmentation.