Math Blind: Failures in Diagram Understanding Undermine Reasoning in MLLMs
作者: Yanpeng Sun, Shan Zhang, Wei Tang, Aotian Chen, Piotr Koniusz, Kai Zou, Yuan Xue, Anton van den Hengel
分类: cs.CV
发布日期: 2025-03-26 (更新: 2025-12-07)
💡 一句话要点
揭示MLLM在图表理解中的“数学盲”现象，并提出基于图结构的改进方案
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 图表理解 大型语言模型 视觉推理 图神经网络
📋 核心要点
- 现有MLLM在图表理解方面存在不足，容易产生错误推理和幻觉，原因在于模型对图表本身的感知能力较弱。
- 论文提出通过让模型捕获图表的结构属性（表示为基元及其相互关系的图），来提高图表理解能力。
- 实验表明，基于图结构表示训练的模型在定位任务上取得了显著提升（+79%），并能迁移到推理任务上。
📝 摘要（中文）
图表是一种通过结构化符号及其空间排列来编码抽象概念和关系的视觉语言。与自然图像不同，它们本质上是符号化的，并且完全是人造的。这给多模态大型语言模型（MLLM）带来了与自然图像处理不同的独特挑战。最近的研究表明，MLLM在处理图表输入时经常表现出错误的推理和幻觉。本文研究了这些局限性是否源于模型解释图表本身的能力不足。为此，我们开发了一个诊断测试套件，将感知与推理隔离开来。我们的系统评估表明，MLLM在基本的感知任务（例如，形状分类、对象计数、关系识别和对象定位）上表现不佳，在细粒度定位上的准确率接近于零。进一步的分析表明，薄弱的图表感知会导致“盲目信任文本”，即模型依赖于文本捷径而不是视觉理解（即，它们是“数学盲”）。我们假设，使模型能够捕获图表的固有结构属性（表示为基元及其相互关系的图）对于提高图表理解至关重要。对7B和32B MLLM的实验验证了这一假设，在这些表示上训练的模型在定位任务上实现了+79%的增益。至关重要的是，这些增益可以转移到推理，即使没有额外的思维链推理数据，也可以在三个公共基准测试中实现3-4%的跨套件改进。我们的研究结果表明，低级感知支持数学MLLM中可靠的高级推理。我们提供了方法论框架和经验证据，以指导未来在这方面的研究。
🔬 方法详解
问题定义：MLLM在处理图表时，由于缺乏对图表结构的理解，容易产生错误的推理和幻觉，尤其是在细粒度的对象定位和关系识别等感知任务上表现不佳。现有方法往往侧重于自然图像的处理，忽略了图表独特的符号化和结构化特性。
核心思路：论文的核心思路是让MLLM能够理解图表的结构信息，即将图表表示为基元（如形状、线条）及其相互关系的图。通过学习这种结构化的表示，模型可以更好地理解图表的内容，从而提高推理能力。
技术框架：论文构建了一个诊断测试套件，用于评估MLLM在图表感知方面的能力，包括形状分类、对象计数、关系识别和对象定位等任务。同时，论文提出了一种基于图结构的图表表示方法，将图表中的对象和关系建模成图，并使用图神经网络进行学习。最后，将学习到的图表示融入到MLLM中，进行端到端的训练。
关键创新：论文的关键创新在于将图结构引入到MLLM的图表理解中。与以往主要关注图像像素信息的处理方式不同，论文强调了图表内在的结构化信息的重要性，并提出了一种有效的图结构表示方法。
关键设计：论文使用了图神经网络（GNN）来学习图结构的表示。具体的GNN结构和训练细节（如损失函数、学习率等）在论文中应该有详细描述。此外，如何将GNN学习到的图表示有效地融入到MLLM中也是一个关键的设计点，可能涉及到特定的融合策略和训练技巧。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于图结构表示训练的模型在对象定位任务上取得了+79%的显著提升。更重要的是，这种提升可以泛化到推理任务上，在三个公共基准测试中实现了3-4%的跨套件改进，证明了低级感知对高级推理的重要性。
🎯 应用场景
该研究成果可应用于教育、科研、工程等领域，例如自动解析数学公式图、电路图、流程图等，辅助教学、科研和工程设计。通过提高MLLM对图表的理解能力，可以实现更智能的人机交互和自动化流程。
📄 摘要（原文）
Diagrams represent a form of visual language that encodes abstract concepts and relationships through structured symbols and their spatial arrangements. Unlike natural images, they are inherently symbolic, and entirely artificial. They thus pose unique challenges for Multimodal Large Language Models (MLLMs) distinct from natural image processing. Recent studies have shown that MLLMs often exhibit flawed reasoning and hallucinations when handling diagram inputs. We investigate here whether these limitations stem from shortcomings in the models' ability to interpret diagrams themselves. To this end, we develop a diagnostic test suite that isolates perception from reasoning. Our systematic evaluation reveals that MLLMs perform poorly on basic perceptual tasks, e.g., shape classification, object counting, relationship identification, and object grounding, with near-zero accuracy on fine-grained grounding. Further analysis shows that weak diagram perception leads to "blind faith in text", where models rely on textual shortcuts rather than visual understanding (that is, they are Math Blind). We hypothesize that enabling models to capture the inherent structural properties of diagrams, represented as graphs of primitives and their interrelationships, is essential for improving diagram understanding. Experiments with 7B and 32B MLLMs validate this assumption, with models trained on such representations achieving a +79% gain on the grounding task. Crucially, these gains transfer to reasoning, achieving 3-4% cross-suite improvements on three public benchmarks even without additional chain-of-thought reasoning data. Our findings demonstrate that low-level perception supports faithful high-level reasoning in mathematical MLLMs. We provide both methodological frameworks and empirical evidence to guide future research in this direction.