MACM: Utilizing a Multi-Agent System for Condition Mining in Solving Complex Mathematical Problems

📄 arXiv: 2404.04735v2 📥 PDF

作者: Bin Lei, Yi Zhang, Shan Zuo, Ali Payani, Caiwen Ding

分类: cs.AI, cs.CL, cs.MA

发布日期: 2024-04-06 (更新: 2024-07-22)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MACM方法以解决复杂数学问题的条件挖掘

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 条件挖掘 复杂数学问题 推理能力 模型泛化

📋 核心要点

  1. 现有方法在解决复杂数学问题时的有效性受到限制，且需要为每个问题设计独特的提示，影响其通用性。
  2. 本文提出的MACM方法通过多智能体系统进行条件挖掘，旨在提高复杂数学问题的解决能力和泛化能力。
  3. 实验结果表明，MACM显著提升了GPT-4 Turbo在复杂数学问题上的准确率，具体提升幅度达到22.05%。

📝 摘要（中文）

近年来，大型语言模型如GPT-4在处理标准查询方面表现出色，但在解决复杂的数学问题时，其性能显著下降。现有的提示工程方法如思维树和思维图在处理复杂数学问题时存在一定局限性，且需要为每个问题设计独特的提示，限制了其通用性。为此，本文提出了多智能体条件挖掘系统（MACM）提示方法，能够有效解决复杂数学问题，并在不同数学背景下展现出良好的泛化能力。通过MACM，GPT-4 Turbo在MATH数据集中最具挑战性的五级数学问题上的准确率从54.68%提升至76.73%。代码可在https://github.com/bin123apple/MACM获取。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在处理复杂数学问题时的性能下降问题。现有方法在应对多步骤逻辑推理时效果不佳，且缺乏通用性。

核心思路：MACM方法通过引入多智能体系统，利用条件挖掘技术，增强模型在复杂数学问题上的推理能力，从而提高其解决问题的准确性和泛化能力。

技术框架：MACM的整体架构包括多个智能体，每个智能体负责不同的推理步骤，通过协同工作来解决复杂问题。系统首先分析问题条件，然后生成相应的推理路径，最后整合结果以得出最终答案。

关键创新：MACM的主要创新在于其多智能体协作机制，能够在不同数学背景下有效挖掘条件信息，与传统的单一提示方法相比，显著提升了模型的适应性和准确性。

关键设计：在MACM中，设计了特定的参数设置以优化智能体之间的协作，采用了改进的损失函数以平衡各智能体的贡献，同时在网络结构上引入了模块化设计，以便于扩展和调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MACM方法显著提升了GPT-4 Turbo在MATH数据集中五级数学问题的准确率，从54.68%提升至76.73%，提升幅度达到22.05%。这一结果表明MACM在复杂数学问题解决中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括教育、科学研究和工程技术等，能够帮助学生和研究人员更高效地解决复杂数学问题。未来，MACM方法有望在其他领域的推理任务中发挥作用，推动智能系统的进一步发展。

📄 摘要（原文）

Recent advancements in large language models, such as GPT-4, have demonstrated remarkable capabilities in processing standard queries. Despite these advancements, their performance substantially declines in \textbf{advanced mathematical problems requiring complex, multi-step logical reasoning}. To enhance their inferential capabilities, current research has delved into \textit{prompting engineering}, exemplified by methodologies such as the Tree of Thought and Graph of Thought. Nonetheless, these existing approaches encounter two significant limitations. Firstly, their effectiveness in tackling complex mathematical problems is somewhat constrained. Secondly, the necessity to design distinct prompts for individual problems hampers their generalizability. In response to these limitations, this paper introduces the \textit{Multi-Agent System for conditional Mining} (\textbf{MACM}) prompting method. It not only resolves intricate mathematical problems but also demonstrates strong generalization capabilities across various mathematical contexts. With the assistance of MACM, the accuracy of GPT-4 Turbo on the most challenging level five mathematical problems in the MATH dataset increase from $\mathbf{54.68\%} \text{ to } \mathbf{76.73\%}$. The code is available in \url{https://github.com/bin123apple/MACM}.