SAM-EM: Real-Time Segmentation for Automated Liquid Phase Transmission Electron Microscopy

📄 arXiv: 2501.03153v2 📥 PDF

作者: Alexander Wang, Max Xu, Risha Goel, Zain Shabeeb, Isabel Panicker, Vida Jamali

分类: cs.CV, physics.data-an

发布日期: 2025-01-06 (更新: 2025-11-04)

🔗 代码/项目: GITHUB

💡 一句话要点

SAM-EM：用于自动化液相透射电子显微镜的实时分割方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 液相透射电子显微镜 图像分割 深度学习 迁移学习 粒子跟踪

📋 核心要点

  1. 现有LPTEM视频缺乏鲁棒的分割方法，阻碍了粒子轨迹的可靠提取，限制了定量分析和材料特性关联。
  2. SAM-EM通过在LPTEM数据上微调SAM~2，显著提升了分割质量和时间一致性，并集成了粒子跟踪和统计分析工具。
  3. SAM-EM在LPTEM数据上表现出优越的分割性能，即使在低信噪比条件下依然鲁棒，为定量分析提供了可能。

📝 摘要（中文）

针对液相透射电子显微镜(LPTEM)视频缺乏鲁棒分割框架的问题，本文提出了Segment Anything Model for Electron Microscopy (SAM-EM)，这是一个领域自适应的基础模型，统一了LPTEM数据的分割、跟踪和统计分析。SAM-EM基于Segment Anything Model 2 (SAM~2)构建，通过在46,600个精心策划的LPTEM合成视频帧上进行全模型微调得到，与零样本SAM~2和现有基线相比，显著提高了掩模质量和时间一致性。除了分割，SAM-EM还集成了粒子跟踪和统计工具，包括均方位移和粒子位移分布分析，为提取和解释纳米尺度动力学提供了一个端到端框架。至关重要的是，全模型微调使SAM-EM在低信噪比条件下（例如LPTEM实验中液体样品厚度增加导致的低信噪比）保持鲁棒性。通过建立可靠的分析流程，SAM-EM将LPTEM转变为定量单粒子跟踪平台，并加速其融入数据驱动的材料发现和设计。

🔬 方法详解

问题定义：液相透射电子显微镜(LPTEM)技术可以观察液体环境中纳米颗粒的动态行为，但由于LPTEM图像通常具有噪声大、对比度低等特点，缺乏鲁棒的分割方法，导致难以准确提取颗粒的轨迹信息，进而影响对材料性质和动态过程的定量分析。现有方法在处理LPTEM数据时，分割精度和时间一致性较差，无法满足实际应用需求。

核心思路：本文的核心思路是利用预训练的Segment Anything Model (SAM)的强大泛化能力，通过在LPTEM数据集上进行微调，使其适应LPTEM图像的特点，从而提高分割精度和鲁棒性。同时，将分割结果与粒子跟踪算法相结合，实现对LPTEM视频中纳米颗粒的自动跟踪和统计分析。这样设计的目的是充分利用SAM的先验知识，减少对大量标注数据的依赖，并提高模型的泛化能力。

技术框架：SAM-EM的整体框架包括数据预处理、模型微调、分割、跟踪和统计分析五个主要阶段。首先，对LPTEM视频数据进行预处理，包括去噪、对比度增强等操作。然后，使用预训练的SAM模型，并在LPTEM数据集上进行全模型微调，得到SAM-EM模型。接下来，使用SAM-EM模型对LPTEM图像进行分割，得到颗粒的掩模。然后，使用粒子跟踪算法对分割结果进行跟踪，得到颗粒的轨迹信息。最后，对轨迹信息进行统计分析，包括均方位移、粒子位移分布等。

关键创新：SAM-EM最重要的技术创新点在于将SAM模型应用于LPTEM数据的分割，并通过全模型微调使其适应LPTEM图像的特点。与现有方法相比，SAM-EM能够显著提高分割精度和时间一致性，并且在低信噪比条件下依然保持鲁棒性。此外，SAM-EM还集成了粒子跟踪和统计分析工具，为LPTEM数据的定量分析提供了一个完整的解决方案。

关键设计：SAM-EM的关键设计包括：1) 使用全模型微调策略，充分利用LPTEM数据对SAM模型进行优化；2) 使用合成LPTEM数据进行训练，增加数据的多样性和覆盖范围；3) 集成粒子跟踪算法，实现对纳米颗粒的自动跟踪；4) 提供多种统计分析工具，方便用户对LPTEM数据进行定量分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAM-EM在LPTEM数据集上进行了实验验证，结果表明，与零样本SAM~2和现有基线相比，SAM-EM显著提高了分割精度和时间一致性。尤其是在低信噪比条件下，SAM-EM依然能够保持鲁棒的分割性能。实验结果表明，SAM-EM能够有效地提取颗粒的轨迹信息，为LPTEM数据的定量分析提供了可靠的基础。

🎯 应用场景

SAM-EM在材料科学、化学、生物学等领域具有广泛的应用前景。它可以用于研究纳米颗粒在液体环境中的动态行为，例如纳米催化剂的反应过程、纳米药物的释放机制等。通过SAM-EM，研究人员可以更准确地提取颗粒的轨迹信息，从而深入了解材料的性质和动态过程，加速数据驱动的材料发现和设计。

📄 摘要（原文）

The absence of robust segmentation frameworks for noisy liquid phase transmission electron microscopy (LPTEM) videos prevents reliable extraction of particle trajectories, creating a major barrier to quantitative analysis and to connecting observed dynamics with materials characterization and design. To address this challenge, we present Segment Anything Model for Electron Microscopy (SAM-EM), a domain-adapted foundation model that unifies segmentation, tracking, and statistical analysis for LPTEM data. Built on Segment Anything Model 2 (SAM~2), SAM-EM is derived through full-model fine-tuning on 46,600 curated LPTEM synthetic video frames, substantially improving mask quality and temporal identity stability compared to zero-shot SAM~2 and existing baselines. Beyond segmentation, SAM-EM integrates particle tracking with statistical tools, including mean-squared displacement and particle displacement distribution analysis, providing an end-to-end framework for extracting and interpreting nanoscale dynamics. Crucially, full fine-tuning allows SAM-EM to remain robust under low signal-to-noise conditions, such as those caused by increased liquid sample thickness in LPTEM experiments. By establishing a reliable analysis pipeline, SAM-EM transforms LPTEM into a quantitative single-particle tracking platform and accelerates its integration into data-driven materials discovery and design. Project page: \href{https://github.com/JamaliLab/SAM-EM}{github.com/JamaliLab/SAM-EM}.