Math-PUMA: Progressive Upward Multimodal Alignment to Enhance Mathematical Reasoning

📄 arXiv: 2408.08640v2 📥 PDF

作者: Wenwen Zhuang, Xin Huang, Xiantao Zhang, Jin Zeng

分类: cs.CL

发布日期: 2024-08-16 (更新: 2024-09-25)

🔗 代码/项目: GITHUB

💡 一句话要点

Math-PUMA：通过渐进式向上多模态对齐增强数学推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 数学推理 视觉文本对齐 大型语言模型 指令调优

📋 核心要点

  1. 现有MLLMs在处理数学图表时表现不佳，主要原因是其在图像和文本对齐方面的不足，导致视觉信息利用率低。
  2. Math-PUMA的核心思想是通过渐进式向上多模态对齐，利用KL散度对齐视觉和文本模态，提升模型在不同模态下的问题解决能力。
  3. 实验结果表明，Math-PUMA训练的MLLMs在多个数学推理基准上超越了大多数开源MLLMs，有效缩小了不同模态问题间的性能差距。

📝 摘要（中文）

多模态大型语言模型(MLLMs)在解决基于文本的数学问题方面表现出色，但由于主要在自然场景图像上训练，因此在处理数学图表时表现不佳。对于人类来说，视觉辅助通常可以增强问题解决能力，但MLLMs在信息从文本模式转移到视觉模式时表现更差。这种下降主要是由于它们在对齐图像和文本方面的不足。为了应对上述挑战，我们提出了一种名为Math-PUMA的方法，该方法侧重于渐进式向上多模态对齐。该方法旨在通过一个三阶段的训练过程来提高MLLMs的数学推理能力，其中第二阶段是关键的对齐阶段。我们首先通过大量的文本数学问题来增强语言模型的数学推理能力。然后，我们构建一个具有不同程度的文本和视觉信息的多模态数据集，通过以至少两种形式呈现每个问题来创建数据对。通过利用下一个token预测分布的Kullback-Leibler (KL)散度来对齐视觉和文本模态，确保一致的问题解决能力。最后，我们利用高质量的多模态数据对MLLMs进行多模态指令调优。在多个数学推理基准上的实验结果表明，使用Math-PUMA训练的MLLMs超过了大多数开源MLLMs。我们的方法有效地缩小了以不同模态呈现的问题的性能差距。代码和数据可在以下网址获得：\url{https://github.com/wwzhuang01/Math-PUMA}。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLMs）在处理包含数学图表的数学问题时，由于视觉和文本模态对齐不足而导致的性能下降问题。现有方法主要在自然场景图像上训练，缺乏对数学图表的有效理解和利用，导致模型在视觉信息丰富的场景下表现不佳。

核心思路：Math-PUMA的核心思路是通过渐进式向上多模态对齐，逐步提升MLLMs对数学图表的理解和推理能力。该方法通过构建包含不同程度文本和视觉信息的数据集，并利用KL散度对齐不同模态的预测分布，从而确保模型在不同模态下的一致性。

技术框架：Math-PUMA的训练过程分为三个阶段：1) 使用大量文本数学问题增强语言模型的数学推理能力；2) 构建多模态数据集，利用KL散度对齐视觉和文本模态；3) 使用高质量多模态数据进行指令调优。整体流程是从纯文本到多模态，逐步提升模型对视觉信息的利用能力。

关键创新：Math-PUMA的关键创新在于其渐进式向上多模态对齐策略，以及利用KL散度对齐不同模态的预测分布。与现有方法相比，Math-PUMA更加注重模态之间的对齐，从而更好地利用视觉信息，提升模型在多模态数学问题上的表现。

关键设计：在第二阶段的模态对齐中，使用KL散度作为损失函数，最小化文本模态和视觉模态的下一个token预测分布之间的差异。具体而言，对于每个数学问题，模型会同时接收文本描述和对应的图表，然后分别预测下一个token的概率分布。KL散度用于衡量这两个分布之间的相似度，从而促使模型学习到一致的表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Math-PUMA在多个数学推理基准上取得了显著的性能提升，超越了大多数开源MLLMs。具体而言，Math-PUMA有效缩小了模型在文本模态和视觉模态问题上的性能差距，表明其在多模态对齐方面具有显著优势。论文提供的代码和数据也为后续研究提供了便利。

🎯 应用场景

Math-PUMA具有广泛的应用前景，可应用于智能教育、自动化数学问题求解、科学研究等领域。通过提升MLLMs对数学图表的理解和推理能力，可以开发更智能的数学学习工具，辅助科研人员进行数据分析和模型构建，并实现更高效的自动化问题求解。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) excel in solving text-based mathematical problems, but they struggle with mathematical diagrams since they are primarily trained on natural scene images. For humans, visual aids generally enhance problem-solving, but MLLMs perform worse as information shifts from textual to visual modality. This decline is mainly due to their shortcomings in aligning images and text. To tackle aforementioned challenges, we propose Math-PUMA, a methodology focused on Progressive Upward Multimodal Alignment. This approach is designed to improve the mathematical reasoning skills of MLLMs through a three-stage training process, with the second stage being the critical alignment stage. We first enhance the language model's mathematical reasoning capabilities with extensive set of textual mathematical problems. We then construct a multimodal dataset with varying degrees of textual and visual information, creating data pairs by presenting each problem in at least two forms. By leveraging the Kullback-Leibler (KL) divergence of next-token prediction distributions to align visual and textual modalities, consistent problem-solving abilities are ensured. Finally, we utilize multimodal instruction tuning for MLLMs with high-quality multimodal data. Experimental results on multiple mathematical reasoning benchmarks demonstrate that the MLLMs trained with Math-PUMA surpass most open-source MLLMs. Our approach effectively narrows the performance gap for problems presented in different modalities. The code and data are available at: \url{https://github.com/wwzhuang01/Math-PUMA}.