ChartJudgeBench: Evaluating LMM Judges for Chart-to-Code Generation

📄 arXiv: 2609.24210v1 📥 PDF

作者: Lijian Wu, Henry Hengyuan Zhao, Zijian Zhang, Jiahao Tang, Jiajun Wu, Alex Jinpeng Wang

分类: cs.CV

发布日期: 2026-09-21

💡 一句话要点

提出ChartJudgeBench以评估图表到代码生成中的LMM评判者

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图表生成 强化学习 多模态模型 评判者可靠性 视觉-语言基准

📋 核心要点

  1. 现有的图表到代码生成系统在强化学习中依赖于奖励信号的质量，但LMM作为评判者的可靠性尚未得到验证。
  2. 本文提出ChartJudgeBench基准，通过1003个图表感知对齐实例和650个图表推理判断实例来评估LMM的判断能力。
  3. 评估结果显示LMM在图表比较中存在位置偏差、过度预测接受、匹配视觉风格困难等四个系统性局限性。

📝 摘要（中文）

构建强大的图表到代码系统日益依赖强化学习，其有效性关键在于奖励信号的质量。大型多模态模型（LMM）在共同评估图表视觉外观和任务需求方面发挥着重要作用，但其作为评判者的可靠性尚未得到充分探讨。为此，本文提出了ChartJudgeBench，这是一个用于评估LMM评判者在图表到代码工作流中的诊断视觉-语言基准。该基准包含1003个图表感知对齐实例和650个图表推理判断实例，模拟了代理精炼和基于RL的图表优化所需的核心判断决策。对强LMM的评估揭示了四个系统性局限性，表明当前LMM评判者在作为批评者或奖励模型使用之前需要明确的可靠性验证。

🔬 方法详解

问题定义：本文旨在解决当前大型多模态模型（LMM）在图表到代码生成中的评判可靠性不足的问题。现有方法未能有效验证LMM作为评判者的有效性，导致在强化学习中的应用存在风险。

核心思路：提出ChartJudgeBench基准，通过设计特定的图表感知对齐和推理判断任务，系统性地评估LMM的判断能力，确保其在图表优化中的可靠性。

技术框架：整体架构包括两个主要模块：图表感知对齐（CPA）和图表推理判断（CRJ）。CPA模块用于对比图表的视觉特征，CRJ模块用于判断图表的接受或拒绝。

关键创新：最重要的创新在于引入了系统性的评估基准ChartJudgeBench，填补了LMM评判者可靠性验证的空白，提供了可量化的评估标准。

关键设计：在设计中，采用了特定的损失函数来优化模型的判断准确性，并通过大量实例进行训练和验证，以确保模型在不同场景下的适应性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前LMM在图表比较中存在位置偏差和过度预测接受的现象，且在视觉风格匹配上表现不佳。这些发现强调了在将LMM作为评判者或奖励模型之前，必须进行明确的可靠性验证。

🎯 应用场景

该研究的潜在应用领域包括自动化图表生成、数据可视化工具和智能编程助手等。通过提高LMM的评判可靠性，可以显著提升图表到代码生成系统的性能，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Building strong chart-to-code systems increasingly relies on reinforcement learning, whose effectiveness depends critically on the quality of the reward signal. Large Multimodal Models (LMMs) play a natural critical role in jointly assessing chart visual appearance and task requirements. They are therefore increasingly used as visual critics and reward models, yet their reliability as judges remains largely unexplored. To this end, we introduce ChartJudgeBench, a diagnostic vision-language benchmark for assessing LMM judges in chart-to-code workflows. It includes 1,003 Chart Perception Alignment (CPA) instances for pairwise chart comparison and 650 Chart Reasoning Judgment (CRJ) instances for binary Accept/Reject verification in Chart Reproduction and Chart Editing. Together, these tasks emulate the core judging decisions required in agentic refinement and RL-based chart optimization. Our evaluation of strong LMMs reveals four systematic limitations: (i) positional bias in pairwise comparison, (ii) a strong tendency to overpredict Accept, (iii) difficulty in matching visual styles and aesthetics, and (iv) an unexpected leniency bias in RL-trained models. These findings show that current LMM judges require explicit reliability validation before being used as critics or reward models in chart-to-code optimization. The code and data are available on ChartJudgeBench.