Exploring Multimodal Prompt for Visualization Authoring with Large Language Models
作者: Zhen Wen, Luoxuan Weng, Yinghao Tang, Runjin Zhang, Yuxin Liu, Bo Pan, Minfeng Zhu, Wei Chen
分类: cs.HC, cs.AI
发布日期: 2025-04-18
备注: 11 pages, 8 figures
💡 一句话要点
VisPilot：探索多模态提示，提升大语言模型在可视化创作中的能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态提示 可视化创作 大型语言模型 人机协作 视觉提示 自然语言处理 VisPilot
📋 核心要点
- 现有方法仅使用自然语言指令LLMs进行可视化创作，表达精度和表现力受限，易导致误解和迭代耗时。
- 论文提出视觉提示作为文本提示的补充，设计VisPilot系统，支持文本、草图和直接操作等多种模态输入。
- 案例研究和用户实验表明，VisPilot提供更直观的可视化创建方式，且不影响任务效率，提升了LLMs的可用性。
📝 摘要（中文）
本文研究了大型语言模型（LLMs）在可视化创作中对模糊或不完整文本提示的理解，以及导致LLMs误解用户意图的条件。为了解决这些局限性，论文引入了视觉提示作为文本提示的补充输入模态，以帮助澄清用户意图并提高LLMs的理解能力。论文设计了VisPilot，使用户能够通过多模态提示（包括文本、草图和对现有可视化的直接操作）轻松创建可视化。通过两个案例研究和一个对照用户研究，证明VisPilot提供了一种更直观的可视化创建方式，且不影响整体任务效率。此外，分析了文本和视觉提示在不同可视化任务中的影响。研究结果强调了多模态提示在提高LLMs用于可视化创作的可用性方面的重要性。最后，讨论了未来可视化系统的设计含义，并提供了关于多模态提示如何增强人机协作的见解。
🔬 方法详解
问题定义：现有的大语言模型在可视化创作中，主要依赖自然语言提示。然而，自然语言在表达可视化意图时存在精度不足和表达能力有限的问题，容易导致LLM对用户意图的误解，需要多次迭代才能得到期望的结果，效率较低。
核心思路：论文的核心思路是引入视觉提示作为文本提示的补充，利用视觉信息更直观、更精确地表达用户意图。通过多模态的输入，减少LLM对用户意图的歧义理解，从而提高可视化创作的效率和准确性。
技术框架：VisPilot系统是实现多模态提示可视化创作的框架。用户可以通过文本、草图以及对现有可视化的直接操作来表达需求。系统接收这些多模态输入，并将其整合后输入到LLM中，LLM根据这些信息生成或修改可视化结果。系统包含多模态输入模块、LLM推理模块和可视化渲染模块。
关键创新：关键创新在于将视觉提示引入到LLM的可视化创作流程中，打破了传统上仅依赖文本提示的局限。通过多模态融合，提升了LLM对用户意图的理解能力，从而提高了可视化创作的效率和质量。
关键设计：VisPilot的关键设计包括：1) 多模态输入接口的设计，需要支持文本、草图和直接操作等多种输入方式，并保证输入信息的有效性和一致性；2) 多模态信息融合策略，如何将不同模态的信息有效地整合，并传递给LLM；3) LLM的prompt设计，如何利用多模态信息来引导LLM生成期望的可视化结果。论文中并未明确提及具体的参数设置、损失函数或网络结构等细节，这部分可能依赖于所使用的LLM本身的能力。
🖼️ 关键图片
📊 实验亮点
论文通过案例研究和用户实验证明，VisPilot系统在可视化创作方面具有显著优势。用户研究表明，与仅使用文本提示的方法相比，VisPilot在不影响整体任务效率的前提下，提供了更直观的交互方式。此外，论文还分析了文本和视觉提示在不同可视化任务中的作用，为未来的多模态可视化系统设计提供了重要参考。
🎯 应用场景
该研究成果可应用于各种数据可视化场景，例如商业智能、科学研究、教育等领域。通过多模态提示，用户可以更轻松地利用LLM创建定制化的可视化图表，从而更好地理解和分析数据。未来，该技术有望进一步降低数据可视化的门槛，使更多人能够参与到数据分析和决策中。
📄 摘要（原文）
Recent advances in large language models (LLMs) have shown great potential in automating the process of visualization authoring through simple natural language utterances. However, instructing LLMs using natural language is limited in precision and expressiveness for conveying visualization intent, leading to misinterpretation and time-consuming iterations. To address these limitations, we conduct an empirical study to understand how LLMs interpret ambiguous or incomplete text prompts in the context of visualization authoring, and the conditions making LLMs misinterpret user intent. Informed by the findings, we introduce visual prompts as a complementary input modality to text prompts, which help clarify user intent and improve LLMs' interpretation abilities. To explore the potential of multimodal prompting in visualization authoring, we design VisPilot, which enables users to easily create visualizations using multimodal prompts, including text, sketches, and direct manipulations on existing visualizations. Through two case studies and a controlled user study, we demonstrate that VisPilot provides a more intuitive way to create visualizations without affecting the overall task efficiency compared to text-only prompting approaches. Furthermore, we analyze the impact of text and visual prompts in different visualization tasks. Our findings highlight the importance of multimodal prompting in improving the usability of LLMs for visualization authoring. We discuss design implications for future visualization systems and provide insights into how multimodal prompts can enhance human-AI collaboration in creative visualization tasks. All materials are available at https://OSF.IO/2QRAK.