BEATS: Optimizing LLM Mathematical Capabilities with BackVerify and Adaptive Disambiguate based Efficient Tree Search

📄 arXiv: 2409.17972v2 📥 PDF

作者: Linzhuang Sun, Hao Liang, Jingxuan Wei, Bihui Yu, Conghui He, Zenan Zhou, Wentao Zhang

分类: cs.CL, cs.LG

发布日期: 2024-09-26 (更新: 2024-09-29)

💡 一句话要点

BEATS：利用BackVerify和自适应消歧高效树搜索优化LLM数学能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学问题求解 迭代提示 反向验证 树搜索 模型优化 推理能力

📋 核心要点

  1. 大型语言模型在数学问题求解方面面临挑战，现有方法如微调和提示工程效果有限，且计算成本高昂。
  2. BEATS方法通过设计迭代提示，引导模型逐步求解，并引入反向验证机制来确保答案的正确性。
  3. 实验结果表明，BEATS显著提升了LLM在MATH基准上的表现，超越了GPT4，验证了其有效性。

📝 摘要（中文）

大型语言模型(LLM)在广泛的任务和领域中表现出卓越的性能。然而，由于数学的严谨性和逻辑性，它们在解决数学问题时仍然遇到困难。以往的研究采用监督微调(SFT)、提示工程和基于搜索的方法来提高LLM的数学问题解决能力。尽管做出了这些努力，它们的性能仍然欠佳，并且需要大量的计算资源。为了解决这个问题，我们提出了一种新的方法BEATS，以增强数学问题解决能力。我们的方法利用新设计的提示，引导模型迭代地重写、单步推进，并根据先前的步骤生成答案。此外，我们引入了一种新的反向验证技术，使用LLM来验证生成的答案的正确性。此外，我们采用剪枝树搜索来优化搜索时间，同时实现强大的性能。值得注意的是，我们的方法将Qwen2-7b-Instruct的分数从36.94提高到61.52，优于GPT4在MATH基准上的42.5。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在数学问题求解方面的不足。现有方法，如监督微调（SFT）、提示工程和基于搜索的方法，在提高LLM的数学能力方面效果有限，并且通常需要大量的计算资源。这些方法难以保证答案的正确性和效率。

核心思路：BEATS的核心思路是引导LLM进行迭代式的数学问题求解，并引入反向验证机制来确保每一步的正确性。通过精心设计的提示，模型可以逐步推进求解过程，并利用先前的步骤生成后续步骤。反向验证则利用LLM本身来验证答案的正确性，从而提高整体的准确率。

技术框架：BEATS方法主要包含三个关键模块：迭代提示生成、反向验证和剪枝树搜索。首先，迭代提示生成模块负责生成引导LLM逐步求解数学问题的提示。然后，LLM根据这些提示生成中间步骤和最终答案。接下来，反向验证模块使用LLM验证答案的正确性。最后，剪枝树搜索模块用于优化搜索过程，减少计算量，同时保持较高的性能。

关键创新：BEATS的关键创新在于结合了迭代提示、反向验证和剪枝树搜索。迭代提示使得LLM能够逐步求解复杂问题，反向验证则提高了答案的可靠性，而剪枝树搜索则优化了搜索效率。与现有方法相比，BEATS能够更有效地利用LLM的推理能力，并在保证准确性的前提下降低计算成本。

关键设计：迭代提示的设计是关键，需要精心设计提示词，引导模型进行正确的推理步骤。反向验证模块需要选择合适的LLM和验证策略，以确保验证的有效性。剪枝树搜索需要设计合适的剪枝策略，以在搜索效率和性能之间取得平衡。具体的参数设置和损失函数等技术细节在论文中未明确给出，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BEATS方法在MATH基准测试中取得了显著的成果，将Qwen2-7b-Instruct模型的得分从36.94提高到61.52，超越了GPT4的42.5分。这一结果表明，BEATS方法能够有效地提升LLM在数学问题求解方面的能力，并具有优于现有方法的性能。

🎯 应用场景

BEATS方法具有广泛的应用前景，可应用于教育、科研、金融等领域。例如，可以用于开发智能辅导系统，帮助学生解决数学难题；可以用于辅助科研人员进行复杂的数学建模和计算；还可以用于金融风险评估和预测。该研究有助于提升LLM在实际问题中的应用价值。

📄 摘要（原文）

Large Language Models (LLMs) have exhibited exceptional performance across a broad range of tasks and domains. However, they still encounter difficulties in solving mathematical problems due to the rigorous and logical nature of mathematics. Previous studies have employed techniques such as supervised fine-tuning (SFT), prompt engineering, and search-based methods to improve the mathematical problem-solving abilities of LLMs. Despite these efforts, their performance remains suboptimal and demands substantial computational resources. To address this issue, we propose a novel approach, BEATS, to enhance mathematical problem-solving abilities. Our method leverages newly designed prompts that guide the model to iteratively rewrite, advance by one step, and generate answers based on previous steps. Additionally, we introduce a new back-verification technique that uses LLMs to validate the correctness of the generated answers. Furthermore, we employ a pruning tree search to optimize search time while achieving strong performance. Notably, our method improves Qwen2-7b-Instruct's score from 36.94 to 61.52, outperforming GPT4's 42.5 on the MATH benchmark.