ChartBench: A Benchmark for Complex Visual Reasoning in Charts

📄 arXiv: 2312.15915v3 📥 PDF

作者: Zhengzhuo Xu, Sinan Du, Yiyan Qi, Chengjin Xu, Chun Yuan, Jian Guo

分类: cs.CV

发布日期: 2023-12-26 (更新: 2024-06-19)

💡 一句话要点

提出ChartBench基准，用于评估多模态大语言模型在图表中的复杂视觉推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图表理解 多模态学习 视觉推理 基准测试 大语言模型

📋 核心要点

  1. 现有基准测试在图表类型和评估指标上存在局限性，无法准确评估多模态大语言模型对图表的理解能力。
  2. ChartBench通过构建包含多种图表类型和问答对的综合基准，并设计增强的评估指标Acc+来解决上述问题。
  3. 实验结果表明，现有MLLMs在图表理解方面存在局限性，ChartBench为后续研究提供了有价值的参考。

📝 摘要（中文）

多模态大语言模型(MLLMs)在图像理解和生成方面表现出令人印象深刻的能力。然而，由于图表类型有限和评估指标不当，目前的基准无法准确评估MLLMs的图表理解能力。为了解决这个问题，我们提出了ChartBench，这是一个综合性的基准，旨在通过复杂的视觉推理来评估图表理解和数据可靠性。ChartBench包括42个类别，66.6k个图表和600k个问答对。值得注意的是，许多图表缺少数据点注释，这要求MLLMs通过利用固有的图表元素(如颜色、图例和坐标系)来推导值，类似于人类的理解方式。我们还设计了一种增强的评估指标Acc+，用于评估MLLMs，而无需进行大量的手动或昂贵的基于LLM的评估。此外，我们提出了两种基于思维链和监督微调的基线，以提高模型在未注释图表上的性能。对18个开源和3个专有MLLMs的广泛实验评估揭示了它们在图表理解方面的局限性，并为进一步的研究提供了有价值的见解。代码和数据集可在https://chartbench.github.io公开获取。

🔬 方法详解

问题定义：现有方法在评估多模态大语言模型（MLLMs）的图表理解能力时，面临着图表类型覆盖不足、缺乏数据点标注以及评估指标不完善等问题。这导致无法准确衡量模型在复杂视觉推理方面的能力，尤其是在处理未标注数据的图表时。现有评估方法依赖大量人工标注或昂贵的LLM辅助评估，效率较低。

核心思路：ChartBench的核心思路是构建一个更全面、更具挑战性的图表理解基准。通过包含更多样化的图表类型和更复杂的问答对，以及引入无需大量标注的评估指标Acc+，来更真实地反映MLLMs在图表理解方面的能力。同时，通过提供基于思维链和监督微调的基线方法，为模型在未标注图表上的性能提升提供参考。

技术框架：ChartBench基准包含以下几个关键组成部分： 1. 图表数据集：包含42个类别，66.6k个图表，涵盖了常见的图表类型，例如折线图、柱状图、饼图等。 2. 问答对：为每个图表生成了600k个问答对，问题设计涵盖了对图表数据的理解、趋势分析、比较等多个方面。 3. 评估指标Acc+：一种增强的评估指标，旨在减少对大量人工标注或昂贵的LLM辅助评估的依赖，更高效地评估模型性能。 4. 基线方法：提供了基于思维链和监督微调的两种基线方法，用于提高模型在未标注图表上的性能。

关键创新：ChartBench的关键创新在于以下几个方面： 1. 更全面的图表类型覆盖：相比于现有基准，ChartBench包含了更多样化的图表类型，更真实地反映了实际应用场景。 2. 更具挑战性的问答对设计：问答对的设计更加复杂，需要模型进行更深入的视觉推理才能回答。 3. 无需大量标注的评估指标Acc+：Acc+指标减少了对大量人工标注的依赖，提高了评估效率。 4. 针对未标注图表的基线方法：提供了基于思维链和监督微调的基线方法，为模型在未标注图表上的性能提升提供了参考。

关键设计：在数据集构建方面，ChartBench着重于收集和生成各种类型的图表，并确保问答对的多样性和难度。在评估指标方面，Acc+的设计考虑了图表数据的特点，并采用了一些技巧来减少对人工标注的依赖。在基线方法方面，思维链方法通过引导模型逐步推理来提高性能，监督微调方法则利用少量标注数据来提升模型在未标注数据上的泛化能力。具体参数设置和网络结构等细节在论文中进行了详细描述（未知）。

📊 实验亮点

对18个开源和3个专有MLLMs的广泛实验评估表明，现有模型在图表理解方面存在局限性。通过在ChartBench上进行评估，可以更清晰地了解模型的优缺点，并为后续研究提供有价值的参考。论文提出的基线方法在未标注图表上取得了显著的性能提升（具体数值未知）。

🎯 应用场景

ChartBench的研究成果可应用于多个领域，例如商业智能、金融分析、科学研究等。通过提高MLLMs对图表的理解能力，可以帮助人们更有效地从图表中提取信息，做出更明智的决策。此外，该基准还可以促进相关算法的开发和改进，推动多模态学习领域的发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have shown impressive capabilities in image understanding and generation. However, current benchmarks fail to accurately evaluate the chart comprehension of MLLMs due to limited chart types and inappropriate metrics. To address this, we propose ChartBench, a comprehensive benchmark designed to assess chart comprehension and data reliability through complex visual reasoning. ChartBench includes 42 categories, 66.6k charts, and 600k question-answer pairs. Notably, many charts lack data point annotations, which requires MLLMs to derive values similar to human understanding by leveraging inherent chart elements such as color, legends, and coordinate systems. We also design an enhanced evaluation metric, Acc+, to evaluate MLLMs without extensive manual or costly LLM-based evaluations. Furthermore, we propose two baselines based on the chain of thought and supervised fine-tuning to improve model performance on unannotated charts. Extensive experimental evaluations of 18 open-sourced and 3 proprietary MLLMs reveal their limitations in chart comprehension and offer valuable insights for further research. Code and dataset are publicly available at https://chartbench.github.io.