Exploring Interaction Paradigms for LLM Agents in Scientific Visualization
作者: Jackson Vonderhorst, Kuangshi Ai, Haichao Miao, Shusen Liu, Chaoli Wang
分类: cs.AI, cs.GR, cs.HC
发布日期: 2026-04-30
💡 一句话要点
探索LLM Agent在科学可视化中的交互范式，权衡性能、鲁棒性和灵活性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学可视化 大型语言模型 LLM Agent 交互范式 自然语言处理
📋 核心要点
- 现有科学可视化系统缺乏灵活性和自动化能力，用户需要手动构建复杂的工作流程。
- 本文探索利用不同类型的LLM Agent，通过自然语言指令自动生成科学可视化工作流程。
- 实验表明，不同Agent在性能、效率和鲁棒性上存在权衡，需要结合多种方法以实现最佳效果。
📝 摘要（中文）
本文研究了不同类型的大型语言模型（LLM）Agent在科学可视化（SciVis）任务中的表现，用户通过自然语言指令生成可视化工作流程。我们比较了三种主要的交互范式，包括具有结构化工具使用的领域特定Agent、计算机使用Agent和通用编码Agent，通过评估15个基准任务中的8个代表性Agent，并测量可视化质量、效率、鲁棒性和计算成本。我们进一步分析了交互方式，包括代码脚本和模型上下文协议（MCP）或API调用（用于结构化工具使用），以及命令行界面（CLI）和图形用户界面（GUI）（用于更通用的交互），同时还研究了所选Agent中持久记忆的影响。结果揭示了范式和模式之间的明显权衡。通用编码Agent实现了最高的任务成功率，但计算成本很高，而领域特定Agent更高效和稳定，但灵活性较差。计算机使用Agent在单个步骤上表现良好，但在较长的多步骤工作流程中表现不佳，表明长期规划是其主要限制。在基于CLI和GUI的设置中，持久记忆提高了重复试验的性能，尽管其益处取决于底层交互模式和反馈质量。这些发现表明，没有单一方法是足够的，未来的SciVis系统应结合结构化工具使用、交互能力和自适应记忆机制，以平衡性能、鲁棒性和灵活性。
🔬 方法详解
问题定义：本文旨在解决科学可视化任务中，如何利用大型语言模型（LLM）Agent将自然语言指令转化为可执行的可视化工作流程的问题。现有方法要么依赖领域专家手动构建，要么自动化程度低，缺乏灵活性和可扩展性。现有方法的痛点在于难以平衡性能、鲁棒性和灵活性，无法适应复杂多变的可视化需求。
核心思路：本文的核心思路是比较和分析三种不同的LLM Agent交互范式：领域特定Agent、计算机使用Agent和通用编码Agent，并研究它们在科学可视化任务中的表现。通过对比不同范式的优缺点，探索如何结合它们的优势，构建更高效、鲁棒和灵活的科学可视化系统。
技术框架：本文的技术框架主要包括三个部分：1) 定义科学可视化任务的基准测试集；2) 选择和配置三种类型的LLM Agent；3) 设计实验评估不同Agent在可视化质量、效率、鲁棒性和计算成本等方面的表现。具体流程是：用户输入自然语言指令，Agent将其转化为可执行的代码或API调用，执行后生成可视化结果，并根据结果进行迭代和优化。
关键创新：本文最重要的技术创新点在于对不同LLM Agent交互范式的系统性比较和分析。通过实验揭示了不同范式在科学可视化任务中的优缺点，为未来的系统设计提供了指导。此外，本文还研究了持久记忆机制对Agent性能的影响，并提出了结合结构化工具使用、交互能力和自适应记忆机制的混合方法。
关键设计：本文的关键设计包括：1) 针对科学可视化任务设计的基准测试集，涵盖了各种常见的可视化需求；2) 三种LLM Agent的配置和优化，包括prompt工程、工具选择和参数调整；3) 实验评估指标的设计，包括可视化质量、效率、鲁棒性和计算成本等；4) 持久记忆机制的实现，包括记忆存储、检索和更新策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通用编码Agent在任务成功率方面表现最佳，但计算成本最高；领域特定Agent更高效和稳定，但灵活性较差；计算机使用Agent在单步任务中表现良好，但在多步任务中存在困难。持久记忆机制在CLI和GUI设置下均能提升性能，但效果取决于交互模式和反馈质量。
🎯 应用场景
该研究成果可应用于各种科学研究领域，例如气候建模、流体动力学、分子生物学等。通过自然语言指令，科研人员可以快速生成和探索各种可视化结果，从而加速科学发现的过程。此外，该研究还可以应用于教育领域，帮助学生更直观地理解科学概念。
📄 摘要（原文）
This paper examines how different types of large language model (LLM) agents perform on scientific visualization (SciVis) tasks, where users generate visualization workflows from natural-language instructions. We compare three primary interaction paradigms, including domain-specific agents with structured tool use, computer-use agents, and general-purpose coding agents, by evaluating eight representative agents across 15 benchmark tasks and measuring visualization quality, efficiency, robustness, and computational cost. We further analyze interaction modalities, including code scripts and model context protocol (MCP) or API calls for structured tool use, as well as command-line interfaces (CLI) and graphical user interfaces (GUI) for more general interaction, while additionally studying the effect of persistent memory in selected agents. The results reveal clear tradeoffs across paradigms and modalities. General-purpose coding agents achieve the highest task success rates but are computationally expensive, while domain-specific agents are more efficient and stable but less flexible. Computer-use agents perform well on individual steps but struggle with longer multi-step workflows, indicating that long-horizon planning is their primary limitation. Across both CLI- and GUI-based settings, persistent memory improves performance over repeated trials, although its benefits depend on the underlying interaction mode and the quality of feedback. These findings suggest that no single approach is sufficient, and future SciVis systems should combine structured tool use, interactive capabilities, and adaptive memory mechanisms to balance performance, robustness, and flexibility.