Towards Understanding Graphical Perception in Large Multimodal Models
作者: Kai Zhang, Jianwei Yang, Jeevana Priya Inala, Chandan Singh, Jianfeng Gao, Yu Su, Chenglong Wang
分类: cs.GR, cs.AI, cs.CL, cs.CV
发布日期: 2025-03-13
备注: Work in Progress
🔗 代码/项目: GITHUB
💡 一句话要点
提出图形感知评估框架，揭示大模型在图表理解上的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型多模态模型 图形感知 图表理解 视觉信息 评估框架
📋 核心要点
- 现有LMMs在图表理解方面存在不足，尤其是在需要精细感知的任务上，而现有benchmark缺乏对感知能力的细粒度评估。
- 论文利用图形感知理论，构建自动化评估框架，从图表类型、视觉元素和像素三个粒度评估LMMs的感知能力。
- 实验揭示了现有LMMs在图表泛化、视觉元素理解和数值交叉引用方面的局限性，为未来模型改进提供指导。
📝 摘要（中文）
尽管大型多模态模型(LMMs)在需要知识、推理和感知能力的复杂视觉-语言任务中表现出令人鼓舞的结果，但我们惊奇地发现，这些模型在仅需要感知的图表信息任务中表现不佳。现有的基准测试主要关注需要各种能力的端到端任务，因此对模型感知能力的局限性提供了有限的、细粒度的见解。为了解决这个差距，我们利用图形感知理论，这是一种研究人类如何解码图表上编码的视觉信息的方法，来开发一个评估框架，用于分析LMMs在图表中的感知能力差距。通过自动化的任务生成和响应评估设计，我们的框架能够对LMMs在不同图表类型、视觉元素和任务类型中的图形感知进行全面和受控的测试。我们应用该框架来评估和诊断最先进的LMMs在三个粒度级别（图表、视觉元素和像素）的感知能力。我们的发现强调了当前最先进的LMMs的几个关键局限性，包括GPT-4o：它们无法（1）跨图表类型进行泛化，（2）理解基本的视觉元素，以及（3）交叉引用图表中的值。这些见解为未来改进LMMs的感知能力提供了指导。评估框架和标记数据可在https://github.com/microsoft/lmm-graphical-perception公开获取。
🔬 方法详解
问题定义：论文旨在解决大型多模态模型（LMMs）在理解图表信息时存在的感知能力不足的问题。现有方法主要关注端到端任务，无法细粒度地评估LMMs的图形感知能力，导致模型在简单的图表理解任务中表现不佳。
核心思路：论文的核心思路是借鉴图形感知理论，该理论研究人类如何从图表中提取信息。通过构建一个基于该理论的评估框架，可以系统地测试LMMs在不同图表类型、视觉元素和任务类型上的感知能力，从而发现模型的局限性。
技术框架：该评估框架包含以下主要模块：1) 自动化任务生成模块：根据图形感知理论，自动生成各种图表理解任务，涵盖不同的图表类型（如柱状图、折线图、饼图等）、视觉元素（如颜色、大小、位置等）和任务类型（如数值读取、趋势判断、比较等）。2) 响应评估模块：自动评估LMMs对生成任务的回答，并根据预定义的规则进行评分。3) 多粒度分析模块：从图表、视觉元素和像素三个粒度分析LMMs的感知能力，从而深入了解模型的优势和不足。
关键创新：论文的关键创新在于将图形感知理论应用于LMMs的评估，并构建了一个自动化的评估框架。该框架能够进行全面、受控的测试，从而揭示了现有LMMs在图表理解方面的局限性。与现有方法相比，该框架能够提供更细粒度的评估结果，并为模型改进提供更具体的指导。
关键设计：框架的关键设计包括：1) 任务生成策略：根据图形感知理论，设计了多种任务生成策略，以确保任务的多样性和覆盖性。2) 响应评估规则：定义了清晰的响应评估规则，以确保评估的客观性和准确性。3) 多粒度分析方法：采用了多种统计分析方法，从不同粒度分析LMMs的感知能力，从而深入了解模型的行为。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使是GPT-4o等先进LMMs在图表泛化、视觉元素理解和数值交叉引用方面仍存在显著局限性。例如，模型在不同图表类型之间的泛化能力较差，对基本视觉元素的理解不足，且难以准确地交叉引用图表中的数值。这些发现为未来改进LMMs的感知能力提供了重要的指导。
🎯 应用场景
该研究成果可应用于提升LMMs在信息可视化领域的应用能力，例如自动生成图表描述、辅助数据分析、智能报表生成等。通过提高LMMs的图形感知能力，可以使其更好地理解和利用图表信息，从而在各个领域发挥更大的作用，例如商业决策、科学研究和教育等。
📄 摘要（原文）
Despite the promising results of large multimodal models (LMMs) in complex vision-language tasks that require knowledge, reasoning, and perception abilities together, we surprisingly found that these models struggle with simple tasks on infographics that require perception only. As existing benchmarks primarily focus on end tasks that require various abilities, they provide limited, fine-grained insights into the limitations of the models' perception abilities. To address this gap, we leverage the theory of graphical perception, an approach used to study how humans decode visual information encoded on charts and graphs, to develop an evaluation framework for analyzing gaps in LMMs' perception abilities in charts. With automated task generation and response evaluation designs, our framework enables comprehensive and controlled testing of LMMs' graphical perception across diverse chart types, visual elements, and task types. We apply our framework to evaluate and diagnose the perception capabilities of state-of-the-art LMMs at three granularity levels (chart, visual element, and pixel). Our findings underscore several critical limitations of current state-of-the-art LMMs, including GPT-4o: their inability to (1) generalize across chart types, (2) understand fundamental visual elements, and (3) cross reference values within a chart. These insights provide guidance for future improvements in perception abilities of LMMs. The evaluation framework and labeled data are publicly available at https://github.com/microsoft/lmm-graphical-perception.