PlotEdit: Natural Language-Driven Accessible Chart Editing in PDFs via Multimodal LLM Agents

📄 arXiv: 2501.11233v1 📥 PDF

作者: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt

分类: cs.IR, cs.CL, cs.MA

发布日期: 2025-01-20

备注: Accepted at ECIR 2025

💡 一句话要点

PlotEdit：利用多模态LLM智能体实现PDF中图表的可访问自然语言编辑

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图表编辑 多模态学习 大型语言模型 智能体系统 自然语言处理 PDF文档 数据可视化

📋 核心要点

  1. PDF图表缺乏源数据和样式信息，难以编辑，阻碍了数据分析和可访问性。
  2. PlotEdit利用多智能体框架，通过自然语言指令驱动图表编辑，实现端到端流程。
  3. 实验表明，PlotEdit在图表编辑任务上优于现有方法，提升了用户体验和效率。

📝 摘要（中文）

图表可视化对于数据解读和交流至关重要，但通常仅以PDF中的图像形式存在，缺乏源数据表和样式信息。为了有效编辑PDF或数字扫描件中的图表，我们提出了PlotEdit，这是一个新颖的多智能体框架，通过自反思的LLM智能体实现自然语言驱动的端到端图表图像编辑。PlotEdit协调五个LLM智能体：（1）用于数据表提取的Chart2Table，（2）用于样式属性识别的Chart2Vision，（3）用于检索渲染代码的Chart2Code，（4）用于将用户请求解析为可执行步骤的指令分解智能体，以及（5）用于实现细致图表组件修改的多模态编辑智能体——所有这些都通过多模态反馈进行协调，以保持视觉保真度。PlotEdit在ChartCraft数据集上优于现有的基线，涵盖样式、布局、格式和以数据为中心的编辑，从而增强了视觉障碍用户的可访问性并提高了新手的工作效率。

🔬 方法详解

问题定义：论文旨在解决PDF文档中图表编辑困难的问题。现有方法无法直接编辑PDF中的图表图像，因为缺乏底层数据和样式信息。这使得修改图表变得繁琐，尤其对于视觉障碍用户和新手而言，可访问性差，效率低下。

核心思路：PlotEdit的核心思路是利用大型语言模型（LLM）的多模态能力，构建一个多智能体系统，将复杂的图表编辑任务分解为多个可执行的子任务，并通过自然语言指令驱动这些智能体协同工作，从而实现端到端的图表编辑。

技术框架：PlotEdit包含五个主要智能体：Chart2Table（提取数据表）、Chart2Vision（识别样式属性）、Chart2Code（检索渲染代码）、Instruction Decomposition Agent（解析用户指令）和Multimodal Editing Agent（执行编辑）。用户通过自然语言输入编辑指令，Instruction Decomposition Agent将其分解为多个步骤，然后各个智能体协同工作，提取信息、生成代码并执行编辑，最后通过多模态反馈保持视觉一致性。

关键创新：PlotEdit的关键创新在于其多智能体架构和自反思机制。通过将任务分解为多个模块化的智能体，可以更好地利用LLM的专业知识，并提高编辑的准确性和效率。自反思机制允许智能体在执行过程中评估结果并进行调整，从而提高编辑的质量。

关键设计：PlotEdit的关键设计包括：(1) 使用专门训练的LLM进行数据提取和样式识别；(2) 利用代码生成模型生成图表渲染代码；(3) 设计多模态反馈机制，确保编辑后的图表与原始图表在视觉上保持一致；(4) 使用ChartCraft数据集进行训练和评估，该数据集包含各种类型的图表和编辑指令。

🖼️ 关键图片

fig_0

📊 实验亮点

PlotEdit在ChartCraft数据集上进行了评估，实验结果表明，PlotEdit在样式、布局、格式和数据相关的编辑任务上均优于现有基线方法。具体性能提升数据未知，但论文强调了PlotEdit在增强视觉障碍用户可访问性和提高新手工作效率方面的优势。

🎯 应用场景

PlotEdit可应用于多个领域，包括数据分析、报告生成、教育和辅助技术。它可以帮助用户更轻松地编辑和定制PDF文档中的图表，提高数据可视化的可访问性和可用性。对于视觉障碍用户，PlotEdit提供了一种通过自然语言与图表交互的方式，从而增强了他们的信息获取能力。未来，PlotEdit可以集成到各种办公软件和在线协作平台中，提升用户的工作效率。

📄 摘要（原文）

Chart visualizations, while essential for data interpretation and communication, are predominantly accessible only as images in PDFs, lacking source data tables and stylistic information. To enable effective editing of charts in PDFs or digital scans, we present PlotEdit, a novel multi-agent framework for natural language-driven end-to-end chart image editing via self-reflective LLM agents. PlotEdit orchestrates five LLM agents: (1) Chart2Table for data table extraction, (2) Chart2Vision for style attribute identification, (3) Chart2Code for retrieving rendering code, (4) Instruction Decomposition Agent for parsing user requests into executable steps, and (5) Multimodal Editing Agent for implementing nuanced chart component modifications - all coordinated through multimodal feedback to maintain visual fidelity. PlotEdit outperforms existing baselines on the ChartCraft dataset across style, layout, format, and data-centric edits, enhancing accessibility for visually challenged users and improving novice productivity.