MatQnA: A Benchmark Dataset for Multi-modal Large Language Models in Materials Characterization and Analysis

📄 arXiv: 2509.11335v1 📥 PDF

作者: Yonghao Weng, Liqiang Gao, Linwu Zhu, Jian Huang

分类: cs.LG, cond-mat.mtrl-sci

发布日期: 2025-09-14

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出MatQnA：用于材料表征与分析的多模态大语言模型基准数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 材料表征 多模态学习 大语言模型 基准数据集 材料分析

📋 核心要点

  1. 现有AI模型在材料表征与分析这一专业领域的能力验证不足，缺乏系统性的评估和基准数据集。
  2. 构建MatQnA数据集，采用LLMs与人工验证相结合的方式，生成高质量的材料表征问答对。
  3. 实验结果表明，先进的多模态AI模型在材料数据解释和分析任务中表现出接近90%的准确率。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在编程和写作等通用领域取得了显著突破，并在各种科学研究场景中展现出强大的潜力。然而，AI模型在高度专业化的材料表征与分析领域的性能尚未得到系统或充分的验证。为了弥补这一差距，我们提出了MatQnA，这是首个专门为材料表征技术设计的多模态基准数据集。MatQnA包括十种主流的表征方法，如X射线光电子能谱（XPS）、X射线衍射（XRD）、扫描电子显微镜（SEM）、透射电子显微镜（TEM）等。我们采用LLMs与人工验证相结合的混合方法来构建高质量的问答对，整合了多项选择题和主观题。初步评估结果表明，最先进的多模态AI模型（如GPT-4.1、Claude 4、Gemini 2.5和Doubao Vision Pro 32K）在材料数据解释和分析任务的客观题上已经达到了近90%的准确率，展现出在材料表征与分析应用中的强大潜力。MatQnA数据集已在https://huggingface.co/datasets/richardhzgg/matQnA上公开。

🔬 方法详解

问题定义：现有的大型语言模型在通用领域表现出色，但在材料表征与分析这一高度专业化的领域，缺乏专门的评估数据集。这使得我们难以系统地评估和提升AI模型在材料科学领域的应用能力。现有方法无法充分验证AI模型对材料表征数据的理解和分析能力，阻碍了AI技术在材料科学研究中的应用。

核心思路：论文的核心思路是构建一个高质量的多模态基准数据集MatQnA，该数据集涵盖多种主流材料表征技术，并包含高质量的问答对。通过使用LLMs生成候选答案，并结合人工验证的方式，确保数据集的质量和可靠性。这样设计的目的是为了提供一个标准化的平台，用于评估和比较不同AI模型在材料表征与分析任务中的性能。

技术框架：MatQnA数据集的构建流程主要包括以下几个阶段：1) 确定涵盖的材料表征技术，包括XPS、XRD、SEM、TEM等；2) 使用LLMs生成与这些技术相关的候选问题和答案；3) 采用人工验证的方式，对LLMs生成的答案进行筛选和修正，确保答案的准确性和完整性；4) 将问题和答案整理成多项选择题和主观题两种形式，构建最终的MatQnA数据集。

关键创新：该论文的关键创新在于构建了首个专门针对材料表征技术的多模态基准数据集MatQnA。与现有的通用数据集不同，MatQnA专注于材料科学领域，包含了丰富的材料表征数据和专业的问答对。此外，该论文还提出了一种LLMs与人工验证相结合的数据集构建方法，有效地提高了数据集的质量和可靠性。

关键设计：在数据集构建过程中，论文作者精心设计了问题和答案的类型，包括多项选择题和主观题，以全面评估AI模型在材料表征与分析任务中的能力。此外，为了保证数据集的质量，论文作者采用了严格的人工验证流程，对LLMs生成的答案进行逐一审核和修正。具体参数设置和网络结构等技术细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，最先进的多模态AI模型（如GPT-4.1、Claude 4、Gemini 2.5和Doubao Vision Pro 32K）在MatQnA数据集的客观题上已经达到了近90%的准确率。这一结果表明，这些模型在材料数据解释和分析任务中具有强大的潜力，为AI技术在材料科学领域的应用奠定了基础。

🎯 应用场景

MatQnA数据集可用于训练和评估AI模型在材料科学领域的应用，例如自动分析材料表征数据、预测材料性能、辅助材料设计等。该数据集有助于推动AI技术在材料科学研究中的应用，加速新材料的发现和开发，并提高材料研究的效率和质量。未来，该数据集可以扩展到更多的材料表征技术和应用场景。

📄 摘要（原文）

Recently, large language models (LLMs) have achieved remarkable breakthroughs in general domains such as programming and writing, and have demonstrated strong potential in various scientific research scenarios. However, the capabilities of AI models in the highly specialized field of materials characterization and analysis have not yet been systematically or sufficiently validated. To address this gap, we present MatQnA, the first multi-modal benchmark dataset specifically designed for material characterization techniques. MatQnA includes ten mainstream characterization methods, such as X-ray Photoelectron Spectroscopy (XPS), X-ray Diffraction (XRD), Scanning Electron Microscopy (SEM), Transmission Electron Microscopy (TEM), etc. We employ a hybrid approach combining LLMs with human-in-the-loop validation to construct high-quality question-answer pairs, integrating both multiple-choice and subjective questions. Our preliminary evaluation results show that the most advanced multi-modal AI models (e.g., GPT-4.1, Claude 4, Gemini 2.5, and Doubao Vision Pro 32K) have already achieved nearly 90% accuracy on objective questions in materials data interpretation and analysis tasks, demonstrating strong potential for applications in materials characterization and analysis. The MatQnA dataset is publicly available at https://huggingface.co/datasets/richardhzgg/matQnA.