Bridging Foundation Models and ASTM Metallurgical Standards for Automated Grain Size Estimation from Microscopy Images

📄 arXiv: 2604.18957v1 📥 PDF

作者: Abdul Mueez, Shruti Vyas

分类: cs.CV

发布日期: 2026-04-21

备注: Accepted at the 11th IEEE Workshop on Computer Vision for Multimodal Microscopy Image Analysis (CVMI), CVPR Workshops 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种基于Cellpose-SAM的自动化晶粒尺寸估计方法，桥接基础模型与ASTM标准。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 晶粒尺寸估计 金相显微镜 实例分割 Cellpose-SAM ASTM E112 少样本学习 材料表征

📋 核心要点

  1. 现有方法难以从显微图像中准确提取冶金指标，主要挑战在于晶粒形态复杂和监督分割所需的大量数据。
  2. 论文提出一种基于Cellpose-SAM的自动化流程，结合拓扑感知梯度跟踪和ASTM E112标准，实现精确的晶粒尺寸估计。
  3. 实验表明，该方法在少样本情况下表现出色，仅用两个训练样本即可达到1.50%的MAPE，并满足ASTM 50晶粒抽样标准。

📝 摘要（中文）

从显微图像中提取标准化的冶金指标仍然具有挑战性，这归因于复杂的晶粒形态和监督分割的数据需求。为了将基础计算机视觉与实际的冶金评估联系起来，我们提出了一种自动化的密集实例分割和晶粒尺寸估计流程，该流程将Cellpose-SAM适配于微观结构，并将其拓扑感知梯度跟踪与ASTM E112 Jeffries平面测量模块集成。我们系统地将该流程与经典的卷积网络（U-Net）、自适应提示视觉基础模型（MatSAM）和当代视觉-语言模型（Qwen2.5-VL-7B）进行基准测试。评估表明，开箱即用的视觉-语言模型难以处理密集微观计数所需的局部空间推理，而MatSAM尽管具有特定领域的提示生成能力，但仍存在过度分割的问题。我们改进的流程成功地保持了拓扑分离。此外，在逐步减少的训练集上的实验表明了其卓越的少样本可扩展性；仅使用两个训练样本，所提出的系统预测的ASTM晶粒尺寸数（G）的平均绝对百分比误差（MAPE）低至1.50%，并且在不同的目标晶粒计数下的鲁棒性测试也验证了ASTM 50晶粒抽样最小值。这些结果突出了应用级基础模型集成在高度精确的自动化材料表征中的有效性。我们的项目库可在https://github.com/mueez-overflow/ASTM-Grain-Size-Estimator上找到。

🔬 方法详解

问题定义：论文旨在解决从金相显微镜图像中自动且准确地估计晶粒尺寸的问题。现有方法，如传统的图像处理技术和基于卷积神经网络的方法，在处理复杂晶粒形态和有限标注数据时表现不佳，需要大量人工干预和领域知识。视觉-语言模型虽然强大，但在处理局部空间推理和密集计数任务时存在局限性。

核心思路：论文的核心思路是利用预训练的Cellpose-SAM模型，并结合拓扑感知梯度跟踪技术，使其适应金相显微镜图像的特点。通过将分割结果与ASTM E112 Jeffries平面测量模块集成，实现晶粒尺寸的标准化估计。这种方法旨在克服现有方法在数据需求、泛化能力和准确性方面的不足。

技术框架：整体流程包括以下几个主要阶段：1) 使用Cellpose-SAM进行初始晶粒分割；2) 利用拓扑感知梯度跟踪优化分割结果，确保晶粒之间的正确分离；3) 将分割后的晶粒数据输入ASTM E112 Jeffries平面测量模块，计算晶粒尺寸；4) 将该流程与U-Net、MatSAM和Qwen2.5-VL-7B等模型进行对比评估。

关键创新：论文的关键创新在于将Cellpose-SAM模型与拓扑感知梯度跟踪技术相结合，并将其应用于金相显微镜图像的晶粒尺寸估计。这种方法不仅利用了预训练模型的强大泛化能力，还通过梯度跟踪技术提高了分割的准确性，从而实现了更精确的晶粒尺寸估计。与现有方法相比，该方法在少样本情况下表现更佳，且更易于自动化。

关键设计：论文的关键设计包括：1) 使用Cellpose-SAM作为基础分割模型，利用其强大的预训练能力；2) 引入拓扑感知梯度跟踪，优化晶粒边界，避免过度分割或欠分割；3) 集成ASTM E112 Jeffries平面测量模块，确保结果符合行业标准；4) 通过实验验证了在不同训练集大小和目标晶粒计数下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在少样本学习方面表现出色。仅使用两个训练样本，即可实现1.50%的平均绝对百分比误差（MAPE），显著优于其他基线方法，如U-Net和MatSAM。此外，该方法在不同目标晶粒计数下表现出良好的鲁棒性，验证了ASTM 50晶粒抽样标准的有效性。这些结果表明，该方法具有很高的实用价值和推广潜力。

🎯 应用场景

该研究成果可广泛应用于材料科学、冶金工程、质量控制等领域。通过自动化晶粒尺寸估计，可以显著提高材料表征的效率和准确性，加速新材料的研发和生产过程。此外，该方法还可以应用于其他类似的微观图像分析任务，例如细胞计数、颗粒分析等，具有重要的实际应用价值和潜在的商业前景。

📄 摘要（原文）

Extracting standardized metallurgical metrics from microscopy images remains challenging due to complex grain morphology and the data demands of supervised segmentation. To bridge foundational computer vision with practical metallurgical evaluation, we propose an automated pipeline for dense instance segmentation and grain size estimation that adapts Cellpose-SAM to microstructures and integrates its topology-aware gradient tracking with an ASTM E112 Jeffries planimetric module. We systematically benchmark this pipeline against a classical convolutional network (U-Net), an adaptive-prompting vision foundation model (MatSAM) and a contemporary vision-language model (Qwen2.5-VL-7B). Our evaluations reveal that while the out-of-the-box vision-language model struggles with the localized spatial reasoning required for dense microscopic counting and MatSAM suffers from over-segmentation despite its domain-specific prompt generation, our adapted pipeline successfully maintains topological separation. Furthermore, experiments across progressively reduced training splits demonstrate exceptional few-shot scalability; utilizing only two training samples, the proposed system predicts the ASTM grain size number (G) with a mean absolute percentage error (MAPE) as low as 1.50%, while robustness testing across varying target grain counts empirically validates the ASTM 50-grain sampling minimum. These results highlight the efficacy of application-level foundation model integration for highly accurate, automated materials characterization. Our project repository is available at https://github.com/mueez-overflow/ASTM-Grain-Size-Estimator.