ChartBmkAgent: Harness-Governed Multi-Agent Construction of Chart QA Benchmarks from Sparse Error-Taxonomy Specifications
作者: Langxi Huang, Pingping Zhang, Lanyun Zhu, Chunyang Jiang, Jiawei Shao, Haocheng Yuan, Peilin Chen
分类: cs.AI
发布日期: 2026-10-06
备注: 9 pages, 2 figures
💡 一句话要点
提出ChartBmkAgent以解决Chart QA基准构建效率低下问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 问答系统 基准开发 自动化生成 错误分类
📋 核心要点
- 现有方法常常将目标指导与生成过程分离，导致生成的样本无法有效对齐指定的诊断目标。
- 本文提出ChartBmkAgent，通过中心控制器管理多个代理，依据稀疏错误分类规范生成针对性的Chart QA样本。
- 在300个样本的实验中，MLLM的准确率从32.7%到84.3%不等，显示出生成样本能够有效揭示能力差异。
📝 摘要（中文）
多模态大型语言模型（MLLMs）发展迅速，但传统基准开发滞后，导致新能力差距的研究受到延迟。为了缩短基准开发周期，本文提出ChartBmkAgent，通过稀疏错误分类规范构建完整的Chart QA样本，旨在将识别到的能力差距转化为针对性的诊断证据。该方法通过一个中心控制器管理多个专用代理，确保生成的样本与原始错误类别对齐，并记录每个接受决策的依据。实验结果表明，生成样本能够揭示能力差异，86.4%的样本符合指定错误类别的测试标准。
🔬 方法详解
问题定义：本文旨在解决现有Chart QA基准构建方法中目标指导与生成过程分离的问题，导致生成样本无法有效对齐指定的诊断目标。
核心思路：通过引入ChartBmkAgent，利用中心控制器管理多个专用代理，依据稀疏错误分类规范生成完整的Chart QA样本，从而实现目标导向的样本生成。
技术框架：整体架构包括一个中心控制器和多个专用代理，控制器负责管理生成过程，确保每个阶段的样本与原始错误类别对齐，并记录决策依据。
关键创新：最重要的创新在于将目标指导与样本生成过程结合，确保生成的样本不仅有效且符合外部指定的诊断目标，这与现有方法的分离策略形成鲜明对比。
关键设计：在设计中，采用了阶段特定的证据收集机制，确保每个生成样本都能满足指定的错误类别要求，同时设置了相应的评估标准以验证样本的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，生成的样本在300个样本中，MLLM的准确率范围为32.7%到84.3%，并且在针对性跟进测试中，得分从50.0%提升至82.2%（$p=8.96 imes10^{-6}$），表明该方法在样本生成与能力验证方面具有显著提升。
🎯 应用场景
该研究的潜在应用领域包括教育评估、智能问答系统和数据分析等。通过有效构建Chart QA基准，能够帮助研究人员更好地理解和评估多模态模型的能力，推动相关技术的发展与应用。未来，ChartBmkAgent可能会在自动化基准开发和模型评估中发挥重要作用。
📄 摘要（原文）
Multimodal large language models (MLLMs) advance rapidly, while conventional benchmark development lags behind, delaying investigation of newly observed capability gaps. Such investigation requires an expressive task format and an on-demand construction process: information-rich charts make chart question answering (Chart QA) suitable for probing coupled perception and reasoning. Automated Chart QA construction is intended to shorten the benchmark-development cycle by turning identified gaps into targeted samples on demand. Current methods, however, commonly separate target guidance from scratch generation: target-guided systems often require prepared data, charts, or templates, while scratch-generation systems primarily ensure artifact validity, without explicitly controlling whether newly synthesized requirements and content remain aligned with an externally specified diagnostic target. We introduce ChartBmkAgent, which turns an identified capability gap into targeted diagnostic evidence by constructing complete Chart QA samples from sparse error-taxonomy specifications. Throughout construction, a central harness governs specialized agents, requires stage-specific evidence of alignment with the original error category, and records the basis for each acceptance decision. On 300 taxonomy-wide samples, MLLM accuracies ranged from 32.7% to 84.3% with distinct category profiles, showing that generated samples reveal capability differences. Across three source-model comparisons, targeted follow-ups scored 50.0% versus 82.2% on matched controls ($p=8.96\times10^{-6}$); all six cross-model comparisons had the same direction, demonstrating targeted validation and diagnostic-data generation. Multiple evaluator models assessed whether each sample tested its specified error category; 86.4% met this criterion, providing empirical evidence of target preservation.