SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents
作者: Kuangshi Ai, Haichao Miao, Kaiyuan Tang, Nathaniel Gorski, Jianxin Sun, Guoxi Liu, Helgi I. Ingolfsson, David Lenz, Hanqi Guo, Hongfeng Yu, Teja Leburu, Michael Molash, Bei Wang, Tom Peterka, Chaoli Wang, Shusen Liu
分类: cs.AI, cs.GR, cs.HC
发布日期: 2026-07-20
💡 一句话要点
提出SciVisAgentBench以评估科学数据分析与可视化代理的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学可视化 数据分析 评估基准 多模态评估 大型语言模型 代理系统 能力评估
📋 核心要点
- 现有的科学可视化代理缺乏系统化的评估基准，导致评估结果不一致且难以复现。
- 提出SciVisAgentBench基准，通过结构化分类法和多模态评估流程，系统评估科学数据分析与可视化代理的能力。
- 通过与12位科学可视化专家的有效性研究，验证了人类与LLM评估者之间的一致性，并建立了初步的能力基准。
📝 摘要（中文）
随着大型语言模型（LLMs）的进步，代理系统能够将自然语言意图转化为可执行的科学可视化任务。然而，当前缺乏一个系统化和可重复的基准来评估这些新兴的科学可视化代理。为此，本文提出了SciVisAgentBench，这是一个全面且可扩展的基准，旨在评估科学数据分析和可视化代理。该基准基于四个维度的结构化分类法，涵盖了108个专家设计的案例，涉及多种科学可视化场景。为确保评估的可靠性，本文引入了一种多模态结果导向的评估流程，结合了基于LLM的判断和确定性评估器。通过这一框架，本文评估了代表性的科学可视化代理和通用编码代理，建立了初步基准并揭示了能力差距。
🔬 方法详解
问题定义：本文旨在解决当前科学可视化代理评估缺乏系统性和可重复性的问题，现有方法在多步骤分析设置下的评估效果不理想。
核心思路：通过构建SciVisAgentBench基准，结合多模态评估流程，系统性地评估科学数据分析与可视化代理的能力，确保评估的可靠性和一致性。
技术框架：该基准包含四个维度的结构化分类法，涵盖应用领域、数据类型、复杂性水平和可视化操作，现有108个专家设计的案例。评估流程包括LLM判断、图像指标、代码检查器、规则验证器和案例特定评估器。
关键创新：SciVisAgentBench的创新在于其多模态结果导向的评估流程，结合了多种评估手段，确保评估的全面性和准确性，与现有方法相比，提供了更为系统化的评估框架。
关键设计：在评估过程中，采用了多种指标和评估器，确保评估结果的多样性和可靠性，具体参数设置和损失函数等细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
在有效性研究中，12位科学可视化专家与LLM评估者之间的判断一致性得到了验证，表明SciVisAgentBench的评估流程具有较高的可靠性。此外，通过对代表性科学可视化代理的评估，揭示了初步的能力基准和能力差距，为后续研究提供了重要参考。
🎯 应用场景
SciVisAgentBench的潜在应用领域包括科学研究、数据分析和可视化工具开发等。通过提供一个系统化的评估基准，该研究能够帮助开发者和研究人员更好地理解和改进科学可视化代理的能力，推动相关技术的进步与应用。未来，该基准还可能扩展到其他领域的代理系统评估中，具有广泛的实际价值。
📄 摘要（原文）
Recent advances in large language models (LLMs) have enabled agentic systems to translate natural-language intent into executable scientific visualization (SciVis) tasks. Despite rapid progress, the community lacks a principled and reproducible benchmark for evaluating these emerging SciVis agents in realistic, multi-step analysis settings. We present SciVisAgentBench, a comprehensive and extensible benchmark for evaluating scientific data analysis and visualization agents. Our benchmark is grounded in a structured taxonomy spanning four dimensions: application domain, data type, complexity level, and visualization operation. It currently comprises 108 expert-crafted cases covering diverse SciVis scenarios. To enable reliable assessment, we introduce a multimodal outcome-centric evaluation pipeline that combines LLM-based judging with deterministic evaluators, including image-based metrics, code checkers, rule-based verifiers, and case-specific evaluators. We also conduct a validity study with 12 SciVis experts to examine the agreement between human and LLM judges. Using this framework, we evaluate representative SciVis agents and general-purpose coding agents to establish initial baselines and reveal capability gaps. SciVisAgentBench is designed as a living benchmark to support systematic comparison, diagnose failure modes, and drive progress in agentic SciVis. The benchmark is available atthis https URL.