SPM-Bench: Benchmarking Large Language Models for Scanning Probe Microscopy
作者: Peiyao Xiao, Xiaogang Li, Chengliang Xu, Jiayi Wang, Ben Wang, Zichao Chen, Zeyu Wang, Kejun Yu, Yueqian Chen, Xulin Liu, Wende Xiao, Bing Zhao, Hu Wei
分类: cs.AI
发布日期: 2026-02-26
💡 一句话要点
SPM-Bench：针对扫描探针显微镜的大语言模型权威自动评测基准
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 扫描探针显微镜 多模态学习 自动化数据合成 科学基准测试
📋 核心要点
- 现有LLM评测基准在专业科学领域存在数据污染和复杂度不足等问题，难以准确评估模型能力。
- SPM-Bench提出了一种全自动数据合成流程，利用AGS技术从科学文献中提取高质量图像-文本对。
- 引入SIP-F1指标，量化模型在扫描探针显微镜任务中的性能和“个性”，揭示模型推理边界。
📝 摘要（中文）
由于数据污染、复杂度不足和高昂的人工成本，现有基准测试在大语言模型（LLM）于专业科学领域的应用中存在显著差距。本文提出了SPM-Bench，一个原创的、博士水平的多模态基准，专门为扫描探针显微镜（SPM）设计。我们提出了一种完全自动化的数据合成流程，确保了高权威性和低成本。通过采用Anchor-Gated Sieve (AGS)技术，我们高效地从2023年至2025年间发表的arXiv和期刊论文中提取高价值的图像-文本对。通过混合云-本地架构，其中视觉语言模型（VLM）仅返回用于局部高保真裁剪的空间坐标“llbox”，我们的流程实现了极高的token节省，同时保持了高数据集纯度。为了准确客观地评估LLM的性能，我们引入了严格缺陷惩罚F1（SIP-F1）分数。该指标不仅建立了严格的能力层级，而且首次量化了模型的“个性”（保守型、激进型、赌徒型或智者型）。通过将这些结果与模型报告的置信度和感知难度相关联，我们揭示了当前AI在复杂物理场景中的真实推理边界。这些见解将SPM-Bench确立为一种可推广的自动化科学数据合成范例。
🔬 方法详解
问题定义：现有的大语言模型评测基准在评估其在专业科学领域（如扫描探针显微镜）的应用能力时存在局限性。主要痛点包括：数据污染（训练数据包含测试数据）、复杂度不足（无法充分测试模型的专业知识）以及人工标注成本高昂。这些问题导致现有基准无法准确反映模型在实际科研场景中的表现。
核心思路：SPM-Bench的核心思路是构建一个高质量、低成本、且具有挑战性的扫描探针显微镜领域评测基准。通过自动化数据合成流程，从最新的科研文献中提取图像-文本对，避免数据污染。同时，引入新的评估指标SIP-F1，更全面地评估模型的性能和“个性”。这样设计的目的是为了更真实地反映模型在解决实际科研问题时的能力。
技术框架：SPM-Bench的技术框架主要包含以下几个模块：1) 数据提取模块：利用Anchor-Gated Sieve (AGS)技术，从arXiv和期刊论文中提取候选的图像-文本对。2) 数据清洗模块：通过视觉语言模型（VLM）返回空间坐标“llbox”进行局部高保真裁剪，过滤低质量数据，保证数据集纯度。3) 数据评估模块：使用SIP-F1指标评估模型的性能，并分析模型的“个性”。整个流程采用混合云-本地架构，以降低计算成本。
关键创新：SPM-Bench的关键创新点在于：1) 全自动化的数据合成流程，降低了人工成本，并保证了数据的时效性和权威性。2) Anchor-Gated Sieve (AGS)技术，能够高效地从科学文献中提取高价值的图像-文本对。3) 混合云-本地架构，在保证数据质量的同时，降低了计算成本。4) 严格缺陷惩罚F1（SIP-F1）分数，能够更全面地评估模型的性能和“个性”。
关键设计：AGS技术通过预定义的“锚点”词汇（如“scanning tunneling microscopy”）来筛选候选文本，然后利用VLM对图像进行分析，提取与锚点相关的区域。混合云-本地架构中，VLM部署在云端，负责初步筛选和坐标提取，本地服务器负责高保真裁剪和后续评估。SIP-F1指标在传统F1分数的基础上，对模型预测中的缺陷进行更严格的惩罚，从而更准确地反映模型的性能。
🖼️ 关键图片
📊 实验亮点
SPM-Bench引入的SIP-F1指标能够有效区分不同模型的性能和“个性”，揭示了模型在处理扫描探针显微镜数据时的推理边界。通过该基准，研究人员可以更清晰地了解当前AI在复杂物理场景中的能力瓶颈，为未来的研究方向提供指导。
🎯 应用场景
SPM-Bench可用于评估和提升大语言模型在材料科学、纳米技术等领域的应用能力。通过该基准，研究人员可以更好地了解模型在处理复杂科学数据时的推理能力，并开发更有效的模型和算法。该研究为自动化科学数据合成提供了一种可推广的范例，未来可应用于其他科学领域。
📄 摘要（原文）
As LLMs achieved breakthroughs in general reasoning, their proficiency in specialized scientific domains reveals pronounced gaps in existing benchmarks due to data contamination, insufficient complexity, and prohibitive human labor costs. Here we present SPM-Bench, an original, PhD-level multimodal benchmark specifically designed for scanning probe microscopy (SPM). We propose a fully automated data synthesis pipeline that ensures both high authority and low-cost. By employing Anchor-Gated Sieve (AGS) technology, we efficiently extract high-value image-text pairs from arXiv and journal papers published between 2023 and 2025. Through a hybrid cloud-local architecture where VLMs return only spatial coordinates "llbox" for local high-fidelity cropping, our pipeline achieves extreme token savings while maintaining high dataset purity. To accurately and objectively evaluate the performance of the LLMs, we introduce the Strict Imperfection Penalty F1 (SIP-F1) score. This metric not only establishes a rigorous capability hierarchy but also, for the first time, quantifies model "personalities" (Conservative, Aggressive, Gambler, or Wise). By correlating these results with model-reported confidence and perceived difficulty, we expose the true reasoning boundaries of current AI in complex physical scenarios. These insights establish SPM-Bench as a generalizable paradigm for automated scientific data synthesis.