VisAudit: Evaluating Multimodal Agents for Visual Diagnosis and Repair
作者: Shicheng Liu, Adam Kahirov, Qi Zhang, Zhimin Hu, Song Wang, Junhong Lin, Julian Shun, Yada Zhu
分类: cs.LG
发布日期: 2026-10-01
💡 一句话要点
提出VisAudit以解决多模态代理在可视化审查中的不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态代理 可视化审查 自主修复 数据可视化 性能评估 基准测试 缺陷检测
📋 核心要点
- 现有方法在多模态代理的自主审查中存在显著不足，无法有效识别和修复可视化错误。
- VisAudit基准通过提供渲染图表及其辅助证据，支持代理迭代诊断缺陷并进行修复。
- 实验结果显示，最强的多模态模型在自主修复设置下仅能完全恢复47.4%的有缺陷图表，表明存在显著的性能差距。
📝 摘要（中文）
多模态代理在数据可视化任务中越来越常见，但在自主审查方面仍然存在局限性。与人类不同，它们可能无法识别可视化中的错误，确定需要更改的内容，进行修复而不干扰正确内容，并验证干预是否成功。现有基准主要评估预定义的个体能力，如图表生成、指导编辑或缺陷检测，因此未能捕捉到自主审查中的这一差距。我们提出了VisAudit，一个用于评估可视化诊断、修复和验证的基准。该基准包含1900个有缺陷的实例，涵盖21种图表类型和10种缺陷类别，以及300个最初正确的图表。
🔬 方法详解
问题定义：本论文旨在解决多模态代理在可视化审查中的不足，现有方法无法有效识别和修复可视化中的错误，导致自主审查能力有限。
核心思路：我们提出VisAudit基准，允许代理在给定渲染图表及其辅助证据的情况下，迭代诊断缺陷并进行修复，旨在提升其自主审查能力。
技术框架：VisAudit包含三个主要轨道：诊断修复、自主修复和开放世界验证。代理通过分析源数据表、文本摘要和可视化代码，逐步识别和修复缺陷。
关键创新：VisAudit的创新在于其系统性地定义了可视化诊断、修复和验证的流程，填补了现有基准在自主审查能力评估中的空白。
关键设计：基准通过对验证过的源可视化进行控制扰动构建，确保注入的缺陷是明确且可恢复的，同时进行系统验证和人类对齐的质量控制。实验中使用的模型和参数设置经过精心设计，以确保评估的有效性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，最强的多模态模型在自主修复设置下仅能完全恢复47.4%的有缺陷图表，显示出与可靠自主审查之间的显著差距。这一发现强调了当前技术在可视化审查中的局限性，并为未来的研究指明了方向。
🎯 应用场景
该研究的潜在应用领域包括数据可视化工具的开发、智能分析系统和教育领域的可视化教学。VisAudit可以为多模态代理的评估提供标准，推动其在实际应用中的可靠性和有效性，未来可能影响数据分析和决策支持系统的设计。
📄 摘要（原文）
Multimodal agents are increasingly used for data visualization tasks but remain limited in autonomous review. Unlike humans, they may fail to recognize when a visualization is incorrect, determine what to change, repair it without disrupting correct content, and verify whether the intervention succeeded. Existing benchmarks largely evaluate predefined individual capabilities such as chart generation, instruction-guided editing, or defect detection, and therefore do not capture this gap in autonomous review. We introduce VisAudit, a benchmark for evaluating visualization diagnosis, repair, and verification. Given a rendered chart and configurable auxiliary evidence, including its source data table, intended text summary, and visualization code, an agent iteratively diagnoses potential defects, modifies and executes visualization code, inspects execution and visual feedback, and determines when no further intervention is needed. VisAudit defines three tracks spanning diagnosed repair, autonomous repair, and open-world verification, and contains 1,900 flawed instances across 21 chart types and 10 flaw categories, together with 300 initially correct charts. We construct the benchmark through controlled perturbations of validated source visualizations, with systematic verification and human-aligned quality control to ensure that injected defects are well-defined and recoverable from the available evidence. Experiments with leading multimodal models reveal a substantial gap from reliable autonomous review: the strongest evaluated model fully recovers only $47.4\%$ of flawed charts in the autonomous-repair setting.