Modeling Complex Mathematical Reasoning via Large Language Model based MathAgent

📄 arXiv: 2312.08926v2 📥 PDF

作者: Haoran Liao, Qinyi Du, Shaohua Hu, Hao He, Yanyan Xu, Jidong Tian, Yaohui Jin

分类: cs.AI, cs.CL

发布日期: 2023-12-14 (更新: 2023-12-17)

备注: There are unfair comparisons on miniF2F. This will be fixed in the future

💡 一句话要点

提出PRER框架以增强LLM在复杂数学推理中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学推理 代理机制 PRER框架 MathAgent 逻辑推理 性能提升

📋 核心要点

  1. 现有大型语言模型在处理复杂数学问题时，常常因解析能力不足和逻辑推理能力有限而导致生成混乱。
  2. 本文提出了一种名为PRER的框架，通过代理机制细致分解数学推理过程，从而增强LLMs的推理能力。
  3. 实验结果显示，PRER在miniF2F和MATH数据集上分别提升了12.3%和9.2%的准确率，展示了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在解决复杂数学问题时面临诸多挑战，包括解析语句、关联领域知识、进行复合逻辑推理及整合中间推理过程。本文探讨通过细致分解和建模数学推理过程来增强LLMs的潜力，提出了一种名为PRER的代理基础零-shot框架，并实现了两个MathAgents，分别适应LLMs和人类的逻辑形式。实验结果表明，PRER及其MathAgents在miniF2F和MATH数据集上显著提高了性能，展示了LLMs作为代理的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂数学推理中的不足，尤其是在解析、逻辑推理和中间推理整合方面的挑战。现有方法在处理这些问题时常常表现不佳，导致生成结果的准确性和一致性不足。

核心思路：论文的核心思路是通过引入代理机制，将数学推理过程进行细致分解，从而提升LLMs的推理能力。具体而言，设计了PRER框架，结合了多个代理以适应不同的推理需求。

技术框架：PRER框架包括四个主要模块：规划者（Planner）、推理者（Reasoner）、执行者（Executor）和反思者（Reflector）。这些模块协同工作，分别负责问题的分解、推理过程的执行和结果的反思与优化。

关键创新：最重要的技术创新在于引入了MathAgent，分别针对LLMs和人类的逻辑形式进行适配，显著提升了模型在复杂数学问题上的表现。这种代理机制与传统的单一模型方法有本质区别。

关键设计：在设计中，MathAgent-M和MathAgent-H分别定义了不同的逻辑形式和内在关系，采用了一系列动作池以适应不同的推理粒度和方向。具体的参数设置和损失函数设计也经过精心调整，以确保模型的高效性和准确性。

📊 实验亮点

实验结果显示，PRER框架在miniF2F数据集上准确率提升了12.3%（从53.9%提升至66.2%），在MATH数据集上提升了9.2%（从49.8%提升至59.0%），并在MATH的5级问题上提升了13.2%（从23.2%提升至35.4%），相较于GPT-4表现出显著优势。

🎯 应用场景

该研究的潜在应用领域包括教育、科学研究和工程等需要复杂数学推理的场景。通过提升大型语言模型在数学推理方面的能力，可以为学生提供更智能的学习辅助工具，也可以帮助研究人员和工程师更高效地解决复杂问题，推动相关领域的发展。

📄 摘要（原文）

Large language models (LLMs) face challenges in solving complex mathematical problems that require comprehensive capacities to parse the statements, associate domain knowledge, perform compound logical reasoning, and integrate the intermediate rationales. Tackling all these problems once could be arduous for LLMs, thus leading to confusion in generation. In this work, we explore the potential of enhancing LLMs with agents by meticulous decomposition and modeling of mathematical reasoning process. Specifically, we propose a formal description of the mathematical solving and extend LLMs with an agent-based zero-shot framework named $\bf{P}$lanner-$\bf{R}$easoner-$\bf{E}$xecutor-$\bf{R}$eflector (PRER). We further provide and implement two MathAgents that define the logical forms and inherent relations via a pool of actions in different grains and orientations: MathAgent-M adapts its actions to LLMs, while MathAgent-H aligns with humankind. Experiments on miniF2F and MATH have demonstrated the effectiveness of PRER and proposed MathAgents, achieving an increase of $12.3\%$($53.9\%\xrightarrow{}66.2\%$) on the MiniF2F, $9.2\%$ ($49.8\%\xrightarrow{}59.0\%$) on MATH, and $13.2\%$($23.2\%\xrightarrow{}35.4\%$) for level-5 problems of MATH against GPT-4. Further analytical results provide more insightful perspectives on exploiting the behaviors of LLMs as agents.