Zero-shot Autonomous Microscopy for Scalable and Intelligent Characterization of 2D Materials
作者: Jingyun Yang, Ruoyan Avery Yin, Chi Jiang, Yuepeng Hu, Xiaokai Zhu, Xingjian Hu, Sutharsika Kumar, Xiao Wang, Xiaohua Zhai, Keran Rong, Yunyue Zhu, Tianyi Zhang, Zongyou Yin, Jing Kong, Neil Zhenqiang Gong, Zhichu Ren, Haozhe Wang
分类: cond-mat.mtrl-sci, cond-mat.mes-hall, cs.AI, cs.CV, cs.LG
发布日期: 2025-04-14
备注: 13 pages, 4 figures
💡 一句话要点
ATOMIC：利用基础模型实现二维材料的零样本自主显微表征
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 二维材料表征 自主显微镜 零样本学习 基础模型 Segment Anything Model ChatGPT 材料科学 自动化
📋 核心要点
- 传统原子尺度材料表征依赖于专家，需要数月甚至数年的专业训练，效率低下且易出错。
- ATOMIC框架整合视觉和语言基础模型，结合无监督学习和拓扑分析，实现二维材料的零样本自主表征。
- 实验表明，ATOMIC在MoS2单层识别上达到99.7%的分割精度，媲美专家水平，并能检测人眼难以识别的晶界。
📝 摘要（中文）
本研究提出ATOMIC（用于光学显微镜和智能表征的自主技术），一个端到端框架，集成基础模型以实现二维材料的完全自主、零样本表征。该系统整合了视觉基础模型（如Segment Anything Model）、大型语言模型（如ChatGPT）、无监督聚类和拓扑分析，通过提示工程自动控制显微镜、扫描样品、分割图像和进行智能分析，无需额外训练。在分析典型的MoS2样品时，该方法在单层识别方面达到了99.7%的分割精度，与人类专家相当。此外，集成的模型能够检测人眼难以识别的晶界狭缝。该系统在散焦、色温波动和曝光变化等可变条件下保持了稳健的精度，适用于包括石墨烯、MoS2、WSe2、SnSe在内的多种常见二维材料，无论它们是通过化学气相沉积还是机械剥离制造的。这项工作代表了基础模型在实现自主分析方面的应用，建立了一种可扩展且数据高效的表征范例，从根本上改变了纳米尺度材料研究的方法。
🔬 方法详解
问题定义：二维材料的表征通常需要具备专业知识和经验的人工操作，耗时且容易出错，尤其是在面对新发现的材料时。现有方法依赖于大量训练数据，泛化能力有限，难以适应不同材料和实验条件。
核心思路：利用预训练的视觉和语言基础模型强大的泛化能力，通过提示工程引导模型完成图像分割和分析任务，无需针对特定材料或实验条件进行额外训练。结合无监督聚类和拓扑分析，进一步提升系统的鲁棒性和智能化水平。
技术框架：ATOMIC框架包含以下主要模块：1) 显微镜控制模块，负责自动控制显微镜进行样品扫描；2) 图像分割模块，利用Segment Anything Model (SAM) 对显微镜图像进行分割；3) 智能分析模块，利用ChatGPT等大型语言模型，结合无监督聚类和拓扑分析，对分割结果进行分析和解释；4) 决策模块，根据分析结果调整显微镜参数，实现闭环优化。
关键创新：该方法最大的创新在于实现了二维材料的零样本自主表征，无需针对特定材料或实验条件进行额外训练。通过整合视觉和语言基础模型，充分利用了预训练模型的泛化能力，显著降低了对训练数据的需求。此外，该方法还能够检测人眼难以识别的晶界狭缝，提升了表征的精度和效率。
关键设计：在图像分割模块中，使用SAM模型，通过提示工程引导模型分割出二维材料的单层区域。在智能分析模块中，使用ChatGPT模型，通过自然语言提示，引导模型对分割结果进行分析和解释。无监督聚类采用K-means算法，用于对分割区域进行分类。拓扑分析用于检测晶界等结构特征。具体的参数设置和网络结构细节未在摘要中详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
ATOMIC系统在MoS2单层识别方面达到了99.7%的分割精度，与人类专家水平相当。更重要的是，该系统能够检测人眼难以识别的晶界狭缝，展现了超越人类专家能力的潜力。此外，该系统在散焦、色温波动和曝光变化等多种可变条件下保持了稳健的精度，证明了其良好的鲁棒性和泛化能力。
🎯 应用场景
该研究成果可应用于新材料的快速筛选和表征、材料缺陷的自动检测、以及材料性能的预测和优化。通过自动化和智能化，可以显著加速新材料的研发进程，降低研发成本，并为材料科学研究提供新的思路和方法。未来，该技术有望推广到其他类型的材料表征，例如三维材料和生物材料。
📄 摘要（原文）
Characterization of atomic-scale materials traditionally requires human experts with months to years of specialized training. Even for trained human operators, accurate and reliable characterization remains challenging when examining newly discovered materials such as two-dimensional (2D) structures. This bottleneck drives demand for fully autonomous experimentation systems capable of comprehending research objectives without requiring large training datasets. In this work, we present ATOMIC (Autonomous Technology for Optical Microscopy & Intelligent Characterization), an end-to-end framework that integrates foundation models to enable fully autonomous, zero-shot characterization of 2D materials. Our system integrates the vision foundation model (i.e., Segment Anything Model), large language models (i.e., ChatGPT), unsupervised clustering, and topological analysis to automate microscope control, sample scanning, image segmentation, and intelligent analysis through prompt engineering, eliminating the need for additional training. When analyzing typical MoS2 samples, our approach achieves 99.7% segmentation accuracy for single layer identification, which is equivalent to that of human experts. In addition, the integrated model is able to detect grain boundary slits that are challenging to identify with human eyes. Furthermore, the system retains robust accuracy despite variable conditions including defocus, color temperature fluctuations, and exposure variations. It is applicable to a broad spectrum of common 2D materials-including graphene, MoS2, WSe2, SnSe-regardless of whether they were fabricated via chemical vapor deposition or mechanical exfoliation. This work represents the implementation of foundation models to achieve autonomous analysis, establishing a scalable and data-efficient characterization paradigm that fundamentally transforms the approach to nanoscale materials research.