GeoCoder: Solving Geometry Problems by Generating Modular Code through Vision-Language Models

📄 arXiv: 2410.13510v1 📥 PDF

作者: Aditya Sharma, Aman Dalmia, Mehran Kazemi, Amal Zouaq, Christopher J. Pal

分类: cs.CL, cs.CV

发布日期: 2024-10-17

💡 一句话要点

GeoCoder：通过视觉-语言模型生成模块化代码解决几何问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 几何问题求解 视觉-语言模型 代码生成 模块化代码微调 检索增强 几何推理 多模态学习

📋 核心要点

  1. 现有视觉-语言模型在解决几何问题时，难以进行复杂的数学运算和公式应用，限制了解题能力。
  2. GeoCoder通过模块化代码微调，利用预定义的几何函数库生成可执行代码，实现精确的几何计算。
  3. 实验表明，GeoCoder及其检索增强变体RAG-GeoCoder在GeomVerse数据集上显著提升了几何推理性能。

📝 摘要（中文）

几何问题求解需要高级的推理能力，以处理多模态输入并有效运用数学知识。视觉-语言模型（VLMs）在各种多模态任务中取得了显著进展。然而，它们在几何问题上仍然面临挑战，并且由于无法执行预训练期间未见过的数学运算（例如计算任意角度的余弦）以及难以正确应用相关的几何公式而受到严重限制。为了克服这些挑战，我们提出了GeoCoder，它利用模块化代码微调来生成和执行使用预定义的几何函数库的代码。通过执行代码，我们实现了精确和确定性的计算，这与自回归token预测的随机性形成对比，而函数库最大限度地减少了公式使用中的错误。我们还提出了GeoCoder的多模态检索增强变体，名为RAG-GeoCoder，它结合了一个非参数记忆模块，用于从几何库中检索函数，从而减少了对参数记忆的依赖。我们的模块化代码微调方法增强了VLMs的几何推理能力，与GeomVerse数据集上其他微调方法相比，在各种问题复杂度上平均提高了16%以上。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型（VLMs）在几何问题求解中的局限性。现有VLMs难以执行复杂的数学运算，例如计算任意角度的余弦，并且在应用几何公式时容易出错。这些问题限制了VLMs在几何问题上的表现。

核心思路：论文的核心思路是利用模块化代码生成和执行来增强VLMs的几何推理能力。通过将几何问题转化为代码，并使用预定义的几何函数库进行计算，可以实现精确和确定性的结果，避免了自回归token预测的随机性和公式应用错误。

技术框架：GeoCoder的整体框架包括以下几个主要模块：1) 视觉-语言模型：用于处理图像和文本输入，并生成代码；2) 几何函数库：包含预定义的几何函数，例如计算角度、面积、体积等；3) 代码执行器：用于执行生成的代码，并返回计算结果；4) RAG-GeoCoder：在GeoCoder的基础上，引入了检索增强机制，利用非参数记忆模块从几何函数库中检索相关的函数，减少对参数记忆的依赖。

关键创新：论文的关键创新在于模块化代码微调方法。通过将几何问题转化为代码，并使用预定义的几何函数库进行计算，可以实现精确和确定性的结果。此外，RAG-GeoCoder通过引入检索增强机制，进一步提高了模型的性能。

关键设计：GeoCoder的关键设计包括：1) 预定义的几何函数库：包含常用的几何函数，例如计算角度、面积、体积等；2) 模块化代码生成：将几何问题分解为多个模块，并生成相应的代码；3) 代码执行器：使用Python解释器执行生成的代码；4) 损失函数：使用交叉熵损失函数训练模型，目标是生成正确的代码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GeoCoder在GeomVerse数据集上取得了显著的性能提升，与现有的微调方法相比，平均提高了16%以上。RAG-GeoCoder通过引入检索增强机制，进一步提高了模型的性能。这些结果表明，模块化代码微调方法能够有效增强VLMs的几何推理能力。

🎯 应用场景

GeoCoder具有广泛的应用前景，可应用于自动化几何问题求解、计算机辅助设计、机器人导航等领域。该研究有助于提升人工智能系统在几何推理和数学计算方面的能力，为开发更智能的机器人和自动化系统奠定基础。未来，该技术有望应用于教育领域，辅助学生学习几何知识。

📄 摘要（原文）

Geometry problem-solving demands advanced reasoning abilities to process multimodal inputs and employ mathematical knowledge effectively. Vision-language models (VLMs) have made significant progress in various multimodal tasks. Yet, they still struggle with geometry problems and are significantly limited by their inability to perform mathematical operations not seen during pre-training, such as calculating the cosine of an arbitrary angle, and by difficulties in correctly applying relevant geometry formulas. To overcome these challenges, we present GeoCoder, which leverages modular code-finetuning to generate and execute code using a predefined geometry function library. By executing the code, we achieve accurate and deterministic calculations, contrasting the stochastic nature of autoregressive token prediction, while the function library minimizes errors in formula usage. We also propose a multimodal retrieval-augmented variant of GeoCoder, named RAG-GeoCoder, which incorporates a non-parametric memory module for retrieving functions from the geometry library, thereby reducing reliance on parametric memory. Our modular code-finetuning approach enhances the geometric reasoning capabilities of VLMs, yielding an average improvement of over 16% across various question complexities on the GeomVerse dataset compared to other finetuning methods.