SPM-Bench: Benchmarking Large Language Models for Scanning Probe Microscopy
作者: Peiyao Xiao, Xiaogang Li, Chengliang Xu, Jiayi Wang, Ben Wang, Zichao Chen, Zeyu Wang, Kejun Yu, Yueqian Chen, Xulin Liu, Wende Xiao, Bing Zhao, Hu Wei
分类: cs.AI
发布日期: 2026-02-28
💡 一句话要点
SPM-Bench：针对扫描探针显微镜的大语言模型权威自动化评测基准
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扫描探针显微镜 大语言模型 多模态学习 自动化评测 科学数据合成
📋 核心要点
- 现有LLM评测基准在专业科学领域存在数据污染和复杂度不足等问题，难以准确评估模型能力。
- SPM-Bench提出全自动数据合成流程，利用AGS技术从科学文献中提取高质量图像-文本对。
- 引入SIP-F1指标，量化模型在扫描探针显微镜任务中的性能和“个性”，揭示推理边界。
📝 摘要（中文）
由于数据污染、复杂度不足和高昂的人工成本，现有基准测试在评估大语言模型（LLM）在专业科学领域的熟练程度时存在明显差距。本文提出了SPM-Bench，这是一个原创的、博士水平的多模态基准，专门为扫描探针显微镜（SPM）设计。我们提出了一种完全自动化的数据合成流程，确保了高度的权威性和低成本。通过采用Anchor-Gated Sieve（AGS）技术，我们有效地从2023年至2025年间发表的arXiv和期刊论文中提取高价值的图像-文本对。通过混合云-本地架构，其中视觉语言模型（VLM）仅返回用于局部高保真裁剪的空间坐标“llbox”，我们的流程实现了极高的token节省，同时保持了高数据集纯度。为了准确客观地评估LLM的性能，我们引入了严格缺陷惩罚F1（SIP-F1）分数。该指标不仅建立了严格的能力等级，而且首次量化了模型的“个性”（保守型、激进型、赌徒型或明智型）。通过将这些结果与模型报告的置信度和感知难度相关联，我们揭示了当前人工智能在复杂物理场景中的真实推理边界。这些见解将SPM-Bench确立为一种可推广的自动化科学数据合成范例。
🔬 方法详解
问题定义：现有的大语言模型评测基准在评估其在专业科学领域，特别是扫描探针显微镜（SPM）领域的应用能力时，面临着数据污染、复杂度不足以及人工标注成本过高等问题。这些问题导致现有基准无法准确反映模型在处理复杂科学数据和推理方面的真实水平。
核心思路：SPM-Bench的核心思路是构建一个完全自动化、高质量、低成本的SPM领域评测基准。通过自动化数据合成流程，从最新的科学文献中提取图像-文本对，并利用视觉语言模型进行辅助标注，从而避免人工标注的成本和偏差。同时，引入新的评估指标SIP-F1，以更严格地评估模型的性能和“个性”。
技术框架：SPM-Bench的技术框架主要包括以下几个模块：1) 数据提取模块：利用Anchor-Gated Sieve (AGS) 技术，从arXiv和期刊论文中提取候选的图像-文本对。2) 数据标注模块：采用混合云-本地架构，利用视觉语言模型（VLM）返回空间坐标“llbox”，进行局部高保真裁剪，从而节省token成本。3) 评估模块：引入Strict Imperfection Penalty F1 (SIP-F1) 分数，对模型的性能进行评估，并量化模型的“个性”。
关键创新：SPM-Bench的关键创新在于：1) 提出了完全自动化的数据合成流程，降低了基准构建的成本和人工干预。2) 采用了Anchor-Gated Sieve (AGS) 技术，提高了数据提取的效率和质量。3) 引入了Strict Imperfection Penalty F1 (SIP-F1) 分数，能够更严格地评估模型的性能和“个性”。
关键设计：AGS技术通过预定义的anchor，筛选出包含SPM相关信息的图像-文本对。混合云-本地架构利用VLM进行初步标注，然后进行局部高保真裁剪，以节省token成本。SIP-F1分数通过对模型预测中的错误进行严格惩罚，从而更准确地反映模型的性能。
🖼️ 关键图片
📊 实验亮点
SPM-Bench引入的SIP-F1指标能够有效区分不同LLM在SPM任务上的性能差异，并量化模型的“个性”。实验结果表明，现有LLM在处理复杂SPM数据时仍存在推理边界，SPM-Bench能够有效揭示这些边界，为模型改进提供指导。
🎯 应用场景
SPM-Bench可用于评估和提升大语言模型在扫描探针显微镜领域的应用能力，例如图像分析、数据解释和实验设计。该基准的自动化数据合成范例可推广到其他科学领域，加速AI在科学研究中的应用，并推动自动化科学发现。
📄 摘要（原文）
As LLMs achieved breakthroughs in general reasoning, their proficiency in specialized scientific domains reveals pronounced gaps in existing benchmarks due to data contamination, insufficient complexity, and prohibitive human labor costs. Here we present SPM-Bench, an original, PhD-level multimodal benchmark specifically designed for scanning probe microscopy (SPM). We propose a fully automated data synthesis pipeline that ensures both high authority and low-cost. By employing Anchor-Gated Sieve (AGS) technology, we efficiently extract high-value image-text pairs from arXiv and journal papers published between 2023 and 2025. Through a hybrid cloud-local architecture where VLMs return only spatial coordinates "llbox" for local high-fidelity cropping, our pipeline achieves extreme token savings while maintaining high dataset purity. To accurately and objectively evaluate the performance of the LLMs, we introduce the Strict Imperfection Penalty F1 (SIP-F1) score. This metric not only establishes a rigorous capability hierarchy but also, for the first time, quantifies model "personalities" (Conservative, Aggressive, Gambler, or Wise). By correlating these results with model-reported confidence and perceived difficulty, we expose the true reasoning boundaries of current AI in complex physical scenarios. These insights establish SPM-Bench as a generalizable paradigm for automated scientific data synthesis.