Enhancing the Geometric Problem-Solving Ability of Multimodal LLMs via Symbolic-Neural Integration

📄 arXiv: 2504.12773v1 📥 PDF

作者: Yicheng Pan, Zhenrong Zhang, Pengfei Hu, Jiefeng Ma, Jun Du, Jianshu Zhang, Quan Liu, Jianqing Gao, Feng Ma

分类: cs.CL, cs.AI

发布日期: 2025-04-17

备注: 10 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出GeoGen与GeoLogic，提升多模态LLM在几何问题求解中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 几何问题求解 符号推理 大型语言模型 知识表示 神经符号计算 数据生成

📋 核心要点

  1. 现有的多模态LLM在几何问题求解中面临缺乏精确解题数据和推理幻觉的挑战。
  2. 论文提出GeoGen自动生成高质量的几何问题逐步推理数据，并训练GeoLogic增强逻辑推理能力。
  3. 实验结果表明，该方法显著提升了MLLM在几何推理任务上的性能，实现了更可靠的求解。

📝 摘要（中文）

多模态大型语言模型(MLLM)在通用领域取得了显著进展，并在多模态数学推理方面展现出潜力。然而，由于缺乏精确的逐步求解数据以及推理过程中严重的幻觉问题，将MLLM应用于几何问题求解(GPS)仍然具有挑战性。本文提出了GeoGen，一个可以自动生成几何图形逐步推理路径的流程。通过利用精确的符号推理，GeoGen生成大规模、高质量的问答对。为了进一步增强MLLM的逻辑推理能力，我们使用GeoGen生成的合成数据训练了GeoLogic，一个大型语言模型(LLM)。GeoLogic作为自然语言和符号系统之间的桥梁，使符号工具能够帮助验证MLLM的输出，使推理过程更加严谨，并减轻幻觉。实验结果表明，我们的方法持续提高了MLLM的性能，在几何推理任务的基准测试中取得了显著成果。这种改进源于我们对LLM和符号系统优势的整合，从而为GPS任务提供了一种更可靠和可解释的方法。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLM）在几何问题求解（GPS）中表现不佳的问题。现有方法的主要痛点在于缺乏高质量的、逐步推理的训练数据，以及MLLM在推理过程中容易产生幻觉，导致结果不准确。

核心思路：论文的核心思路是利用符号推理的精确性来生成高质量的训练数据，并构建一个桥接自然语言和符号系统的模型，从而增强MLLM的逻辑推理能力并减少幻觉。通过结合LLM的语言理解能力和符号系统的精确计算能力，实现更可靠的几何问题求解。

技术框架：整体框架包含两个主要模块：GeoGen和GeoLogic。GeoGen是一个自动生成几何问题逐步推理路径的流程，它利用符号推理生成大规模、高质量的问答对。GeoLogic是一个使用GeoGen生成的数据训练的LLM，它作为自然语言和符号系统之间的桥梁，帮助验证MLLM的输出。整个流程是先用GeoGen生成数据，然后用这些数据训练GeoLogic，最后利用GeoLogic辅助MLLM进行几何问题求解。

关键创新：最重要的技术创新点在于将符号推理和神经模型相结合，利用符号推理的精确性来生成高质量的训练数据，并构建一个桥接自然语言和符号系统的模型。这种符号-神经集成的方法能够有效缓解MLLM在几何问题求解中出现的幻觉问题，并提高推理的可靠性。

关键设计：GeoGen的具体实现细节未知，但其核心是利用符号推理系统自动推导几何问题的解题步骤。GeoLogic的具体网络结构也未知，但它是一个LLM，并且经过专门的训练，能够理解几何问题，并利用符号工具验证MLLM的输出。损失函数和参数设置等细节在论文中未明确说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出的GeoGen和GeoLogic方法能够显著提升MLLM在几何推理任务上的性能。具体的性能数据和对比基线在摘要中未给出，但强调了该方法在几何推理基准测试中取得了显著成果，表明了符号-神经集成方法在解决复杂推理问题上的有效性。

🎯 应用场景

该研究成果可应用于智能教育领域，例如开发智能几何辅导系统，帮助学生理解和解决几何问题。此外，该方法还可以扩展到其他需要精确推理的领域，如科学计算、程序验证等，具有广泛的应用前景和实际价值，有望推动人工智能在复杂推理任务中的发展。

📄 摘要（原文）

Recent advances in Multimodal Large Language Models (MLLMs) have achieved remarkable progress in general domains and demonstrated promise in multimodal mathematical reasoning. However, applying MLLMs to geometry problem solving (GPS) remains challenging due to lack of accurate step-by-step solution data and severe hallucinations during reasoning. In this paper, we propose GeoGen, a pipeline that can automatically generates step-wise reasoning paths for geometry diagrams. By leveraging the precise symbolic reasoning, \textbf{GeoGen} produces large-scale, high-quality question-answer pairs. To further enhance the logical reasoning ability of MLLMs, we train \textbf{GeoLogic}, a Large Language Model (LLM) using synthetic data generated by GeoGen. Serving as a bridge between natural language and symbolic systems, GeoLogic enables symbolic tools to help verifying MLLM outputs, making the reasoning process more rigorous and alleviating hallucinations. Experimental results show that our approach consistently improves the performance of MLLMs, achieving remarkable results on benchmarks for geometric reasoning tasks. This improvement stems from our integration of the strengths of LLMs and symbolic systems, which enables a more reliable and interpretable approach for the GPS task. Codes are available at https://github.com/ycpNotFound/GeoGen.