Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy

📄 arXiv: 2607.15176v1 📥 PDF

作者: Patrick Phuoc Do, Chau M. Ta, Chaoli Wang

分类: cs.AI, cs.CL, cs.HC

发布日期: 2026-07-16

🔗 代码/项目: GITHUB

💡 一句话要点

基于科学可视化素养评估基准测试多模态大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 科学可视化 素养评估 模型基准测试 性能评估 数据理解 人工智能

📋 核心要点

  1. 现有的多模态大语言模型在科学可视化理解上存在显著不足，评估方法过于集中于图表，缺乏全面性。
  2. 本文提出了一种基于标准化SciVis素养评估的基准测试，涵盖多种科学可视化技术和任务类型，以全面评估模型性能。
  3. 实验结果显示，Gemini模型在多个评估子集上超越人类平均水平，而开源模型整体表现低于人类基线，揭示了模型性能的不均衡性。

📝 摘要（中文）

多模态大语言模型（MLLMs）在解释可视化方面的应用日益增多，但现有评估主要集中于图表，缺乏对科学可视化（SciVis）理解的全面证据。本文对六种MLLMs进行了基准测试，使用49个项目的标准化SciVis素养评估，涵盖18种科学可视化和插图，涉及8种技术和11种任务类型。结果显示，当前MLLMs在SciVis素养上表现不均，Gemini模型在整体上表现最佳，超越了人类平均水平，而开源模型则低于人类基线。模型在科学插图、搜索和空间理解方面表现较好，但在基于纹理和整合的可视化以及定量估计上存在困难。错误分析揭示了在细粒度定量估计、流向解释和基础编码解释方面的反复失败。这些发现将SciVis素养确立为评估多模态AI系统的重要基准维度。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在科学可视化理解评估中的不足，特别是缺乏对SciVis素养的全面评估。现有方法主要集中于图表，未能有效反映模型的理解能力。

核心思路：通过设计一个标准化的SciVis素养评估测试，涵盖多种科学可视化技术和任务类型，全面评估不同模型在理解科学可视化方面的能力。

技术框架：研究中使用了六种多模态大语言模型，包括三种闭源和三种开源模型，采用闭合世界协议进行评估。评估基于485名人类参与者的数据，涵盖49个项目。

关键创新：本文的创新在于将SciVis素养作为评估多模态AI系统的新维度，强调了在科学可视化理解中的重要性，填补了现有评估方法的空白。

关键设计：评估中使用的标准化测试涵盖18种科学可视化和插图，涉及8种技术和11种任务类型，确保了评估的全面性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Gemini模型在多个评估子集上超越了人类平均水平，而开源模型的表现则普遍低于人类基线。模型在科学插图、搜索和空间理解任务上表现最佳，但在定量估计和流向解释等任务上存在明显不足，揭示了性能的不均衡性。

🎯 应用场景

该研究的潜在应用领域包括教育、科学传播和数据分析等。通过提升多模态大语言模型在科学可视化理解方面的能力，可以更好地支持科学教育和研究，促进数据的有效解读与传播，未来可能对科学交流和决策支持产生深远影响。

📄 摘要（原文）

Multimodal large language models (MLLMs) are increasingly used to interpret visualizations, yet current evaluations remain largely chart-centric and provide limited evidence of understanding of scientific visualization (SciVis). We benchmark six MLLMs on the scientific visualization literacy assessment test, a standardized SciVis literacy assessment comprising 49 items based on 18 scientific visualizations and illustrations, spanning 8 techniques and 11 task types. We evaluate three closed-source and three open-source models under a closed-world protocol and compare their performance using data from 485 human participants. Results show that current MLLMs do not exhibit uniform SciVis literacy. Gemini is the strongest model overall, exceeding the human mean across the evaluated subsets, whereas the open-source models remain below the human baseline. Performance is highly uneven across techniques and tasks: models perform best on scientific illustration, search, and spatial understanding, but struggle on texture-based and integration-based visualizations and on quantitative estimation. Error analysis reveals recurring failures in fine-grained quantitative estimation, flow-direction interpretation, and grounded encoding interpretation. These findings position SciVis literacy as a necessary benchmark dimension for evaluating multimodal AI systems. Our code and model outputs are publicly available at https://github.com/patdmp/mllm-scivis-lit-benchmark.