Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval

📄 arXiv: 2411.16454v1 📥 PDF

作者: Xiaocong Yang, Jiacheng Lin, Ziqi Wang, Chengxiang Zhai

分类: cs.CL

发布日期: 2024-11-25

💡 一句话要点

提出基于计算图检索的类比学习方法，提升LLM在数学应用题上的少样本提示能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学应用题 类比学习 计算图 少样本学习 大型语言模型

📋 核心要点

  1. 大型语言模型在解决复杂的数学应用题时面临推理能力不足的挑战。
  2. 论文核心思想是利用计算图相似性检索相关问题，作为范例提示LLM，引导其进行正确的推理。
  3. 实验结果表明，该方法在多个数据集上显著提升了LLM解决数学应用题的准确率，平均提升高达6.7%。

📝 摘要（中文）

大型语言模型(LLMs)在复杂的推理任务（如数学应用题(MWPs)）上表现不佳。本文提出了一种通过类比结构相似的问题来提高LLMs解决MWPs能力的方法。具体来说，我们依赖于检索与给定问题具有相似计算图的问题，并将它们作为提示中的范例，为生成模型提供正确的推理路径以供参考。在六个数学应用题数据集上的实验结果表明，我们提出的方法是有效的，与基线方法相比，平均绝对值提升高达6.7%。这些结果突出了我们的方法在解决当前LLMs推理挑战方面的潜力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在数学应用题（MWPs）上的推理能力不足的问题。现有方法，如直接提示或简单的少样本提示，难以让LLMs正确理解题意并进行复杂的数学运算，尤其是在问题结构复杂时。现有方法缺乏对问题内在逻辑结构的有效利用，导致推理路径错误。

核心思路：论文的核心思路是利用类比学习，通过寻找与目标问题具有相似计算图的例题，并将这些例题作为提示信息提供给LLMs，从而引导LLMs学习正确的推理路径。这种方法模拟了人类学习的过程，即通过借鉴相似问题的解题思路来解决新问题。

技术框架：整体框架包含以下几个主要阶段：1) 计算图构建：将数学应用题解析为计算图，节点表示数值和变量，边表示运算关系。2) 问题检索：使用计算图相似度度量方法，从题库中检索与当前问题计算图最相似的若干个问题。3) 提示构建：将检索到的相似问题及其答案作为范例，构建少样本提示。4) 答案生成：将构建好的提示输入LLM，生成目标问题的答案。

关键创新：最重要的技术创新点在于使用计算图来表示数学应用题的结构，并基于计算图的相似度进行问题检索。与传统的基于文本相似度的检索方法相比，计算图能够更准确地捕捉问题的内在逻辑结构和运算关系，从而找到更合适的例题。

关键设计：关键设计包括：1) 计算图相似度度量方法：采用基于图编辑距离或子图同构等方法来计算计算图之间的相似度。2) 提示构建策略：选择合适的例题数量和排列顺序，以最大程度地提高LLM的推理能力。3) LLM的选择和微调：选择合适的LLM，并根据具体任务进行微调，以提高其生成答案的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在六个数学应用题数据集上取得了显著的提升，平均绝对值提升高达6.7%。与基线方法相比，该方法能够更准确地解决复杂的数学应用题，尤其是在少样本情况下，表现出更强的泛化能力。这表明基于计算图检索的类比学习方法能够有效提高LLM的推理能力。

🎯 应用场景

该研究成果可应用于智能教育领域，例如构建智能辅导系统，为学生提供个性化的解题指导。通过类比学习，系统可以根据学生遇到的问题，推荐相似的例题和解题思路，帮助学生更好地理解和掌握数学知识。此外，该方法还可以扩展到其他需要复杂推理的任务中，例如代码生成、知识图谱推理等。

📄 摘要（原文）

Large language models (LLMs) are known to struggle with complicated reasoning tasks such as math word problems (MWPs). In this paper, we present how analogy from similarly structured questions can improve LLMs' problem-solving capabilities for MWPs. Specifically, we rely on the retrieval of problems with similar computational graphs to the given question to serve as exemplars in the prompt, providing the correct reasoning path for the generation model to refer to. Empirical results across six math word problem datasets demonstrate the effectiveness of our proposed method, which achieves a significant improvement of up to 6.7 percent on average in absolute value, compared to baseline methods. These results highlight our method's potential in addressing the reasoning challenges in current LLMs.