MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts

📄 arXiv: 2310.02255v3 📥 PDF

作者: Pan Lu, Hritik Bansal, Tony Xia, Jiacheng Liu, Chunyuan Li, Hannaneh Hajishirzi, Hao Cheng, Kai-Wei Chang, Michel Galley, Jianfeng Gao

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2023-10-03 (更新: 2024-01-21)

备注: 116 pages, 120 figures. Accepted to ICLR 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MathVista基准以评估视觉上下文中的数学推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学推理 视觉理解 多模态模型 基准评估 人工智能

📋 核心要点

  1. 现有大型模型在视觉上下文中的数学推理能力缺乏系统性评估，导致其在复杂任务中的表现不佳。
  2. MathVista基准结合多种数学和视觉任务，提供6141个示例，旨在评估和提升模型的数学推理能力。
  3. 实验结果显示，GPT-4V模型在MathVista基准上取得49.9%的准确率，显著优于其他模型，但仍未达到人类水平。

📝 摘要（中文）

大型语言模型（LLMs）和大型多模态模型（LMMs）在多个任务和领域展现出卓越的解决问题能力，但其在视觉上下文中的数学推理能力尚未系统研究。为填补这一空白，本文提出了MathVista基准，结合了多种数学和视觉任务的挑战。MathVista包含6141个示例，来源于28个现有的多模态数据集以及3个新创建的数据集（IQTest、FunctionQA和PaperQA）。完成这些任务需要细致的视觉理解和组合推理，当前最先进的基础模型在此方面面临挑战。通过对12个基础模型的综合评估，最佳表现的GPT-4V模型整体准确率为49.9%，显著超越第二名Bard 15.1%。尽管如此，GPT-4V仍比人类表现低10.4%，在理解复杂图形和进行严谨推理方面存在困难。MathVista将在开发能够处理数学密集和视觉丰富的现实任务的通用AI代理中发挥关键作用。

🔬 方法详解

问题定义：本文旨在解决大型模型在视觉上下文中进行数学推理的能力不足，现有方法未能系统评估这一能力，导致模型在复杂任务中的表现不理想。

核心思路：提出MathVista基准，通过结合多种数学和视觉任务，提供多样化的挑战，以评估和提升模型的数学推理能力。设计上强调细致的视觉理解和组合推理。

技术框架：MathVista基准包含6141个示例，来源于28个现有数据集和3个新创建的数据集，涵盖多种数学和视觉任务。评估过程中，使用12个基础模型进行综合比较。

关键创新：MathVista的创新在于系统性地结合了数学和视觉任务，填补了现有研究的空白，并提供了一个标准化的评估框架。与现有方法相比，MathVista更关注模型在复杂视觉场景中的推理能力。

关键设计：在模型评估中，采用了多样化的任务设计，确保任务的复杂性和多样性。此外，评估过程中关注模型的视觉感知和数学推理能力，特别是在处理复杂图形时的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4V模型在MathVista基准上的整体准确率为49.9%，相比第二名Bard提升了15.1%。尽管如此，GPT-4V仍比人类表现低10.4%，在理解复杂图形和进行严谨推理方面存在不足，这表明未来研究的方向。

🎯 应用场景

MathVista基准的潜在应用领域包括教育、自动化数学问题解决、智能辅导系统等。通过提升模型在数学推理和视觉理解方面的能力，未来可为各种需要数学推理的实际应用提供支持，推动通用AI的发展。

📄 摘要（原文）

Large Language Models (LLMs) and Large Multimodal Models (LMMs) exhibit impressive problem-solving skills in many tasks and domains, but their ability in mathematical reasoning in visual contexts has not been systematically studied. To bridge this gap, we present MathVista, a benchmark designed to combine challenges from diverse mathematical and visual tasks. It consists of 6,141 examples, derived from 28 existing multimodal datasets involving mathematics and 3 newly created datasets (i.e., IQTest, FunctionQA, and PaperQA). Completing these tasks requires fine-grained, deep visual understanding and compositional reasoning, which all state-of-the-art foundation models find challenging. With MathVista, we have conducted a comprehensive, quantitative evaluation of 12 prominent foundation models. The best-performing GPT-4V model achieves an overall accuracy of 49.9%, substantially outperforming Bard, the second-best performer, by 15.1%. Our in-depth analysis reveals that the superiority of GPT-4V is mainly attributed to its enhanced visual perception and mathematical reasoning. However, GPT-4V still falls short of human performance by 10.4%, as it often struggles to understand complex figures and perform rigorous reasoning. This significant gap underscores the critical role that MathVista will play in the development of general-purpose AI agents capable of tackling mathematically intensive and visually rich real-world tasks. We further explore the new ability of self-verification, the application of self-consistency, and the interactive chatbot capabilities of GPT-4V, highlighting its promising potential for future research. The project is available at https://mathvista.github.io/.