DOP: Diagnostic-Oriented Prompting for Large Language Models in Mathematical Correction

📄 arXiv: 2405.12100v1 📥 PDF

作者: Hao Chen, Biaojie Zeng, Xin Lin, Liang He, Aimin Zhou

分类: cs.CL

发布日期: 2024-05-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出面向诊断的提示方法(DOP)，提升大语言模型在数学问题纠错中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学问题纠错 大型语言模型 诊断性提示 教育应用 错误诊断 推理纠正 提示工程

📋 核心要点

  1. 现有方法侧重于直接求解数学问题，忽略了纠正学生推理错误的重要性，这与实际教育需求不符。
  2. 论文提出面向诊断的提示方法(DOP)，旨在引导大语言模型专注于识别和纠正数学推理过程中的错误。
  3. 实验结果表明，DOP方法在数学问题纠错任务中表现出色，验证了其有效性和重要性。

📝 摘要（中文）

本文致力于解决数学世界问题纠错(MWPC)这一新颖任务，该任务旨在纠正数学问题求解过程中的推理错误。 借助大型语言模型(LLMs)的进步，我们主要关注两个目标：(1)区分数学推理和错误纠正；(2)探索增强LLMs在数学错误纠正方面的能力，以解决MWPC任务。我们发现，在实时教育中，帮助学生认识到自己的错误比简单地提供正确答案更为重要。然而，目前的研究倾向于优先获得数学问题的准确解决方案，而不是纠正潜在的错误。因此，我们改变了研究范式，证明提高数学推理能力并不等同于掌握错误纠正。同时，我们提出了一种名为面向诊断的提示(DOP)的新方法，旨在促进LLMs在错误纠正方面表现出色。实验表明，DOP表现出色，突显了其重大影响。我们认为，在数学教育中，对优秀纠错者的需求超过了对精通推理者的需求。代码和数据可在https://github.com/ChenhaoEcnuCS/Reason-Correct上获取。

🔬 方法详解

问题定义：论文旨在解决数学世界问题纠错（MWPC）任务，即纠正数学问题求解过程中的推理错误。现有方法主要关注直接给出正确答案，而忽略了诊断和纠正学生推理过程中的错误，这在教育场景下是不够的。现有方法没有区分数学推理能力和错误纠正能力，简单地认为前者提升就能带来后者的提升。

核心思路：论文的核心思路是，错误纠正与数学推理是不同的能力，需要专门的方法来提升。DOP方法的核心在于引导LLM专注于识别错误，并提供诊断性的反馈，而不是直接给出答案。通过诊断性提示，LLM可以更好地理解学生的错误，并提供针对性的纠正建议。

技术框架：DOP方法的技术框架主要包括以下几个阶段：1) 输入包含错误解题步骤的数学问题；2) 使用面向诊断的提示，引导LLM分析解题步骤，识别错误；3) LLM输出诊断结果，指出错误类型和位置；4) LLM提供纠正建议，帮助学生理解错误并找到正确的解题方法。

关键创新：论文的关键创新在于提出了面向诊断的提示方法(DOP)，这是一种专门为数学问题纠错设计的提示策略。与传统的提示方法不同，DOP强调错误诊断，引导LLM深入分析解题过程，识别错误原因，并提供针对性的纠正建议。这种方法更符合教育场景的需求，能够更好地帮助学生理解和掌握数学知识。

关键设计：DOP的关键设计在于提示语的设计。提示语需要清晰地引导LLM完成以下任务：1) 分析解题步骤，识别错误；2) 描述错误类型和位置；3) 提供纠正建议。具体的提示语可以根据不同的数学问题和错误类型进行调整。论文中可能包含一些具体的提示语示例，以及如何根据不同的情况设计提示语的指导。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DOP方法在数学问题纠错任务中取得了显著的性能提升。具体的性能数据（例如，纠错准确率、F1值等）和对比基线（例如，直接求解方法、其他提示方法等）需要在论文中查找。论文强调DOP方法在错误纠正方面的优势，并突出了其在数学教育中的重要性。

🎯 应用场景

该研究成果可应用于在线教育平台、智能辅导系统等领域，帮助学生更好地学习数学。通过DOP方法，可以构建更智能的数学辅导工具，能够自动诊断学生的解题错误，并提供个性化的纠正建议，从而提高学生的学习效率和学习效果。未来，该方法还可以扩展到其他学科的错误纠正任务中。

📄 摘要（原文）

Math world problems correction(MWPC) is a novel task dedicated to rectifying reasoning errors in the process of solving mathematical problems. In this paper, leveraging the advancements in large language models (LLMs), we address two key objectives:(1) Distinguishing between mathematical reasoning and error correction; (2) Exploring strategies to enhance the error correction capabilities of LLMs in mathematics to solve MWPC task. We noticed that, in real-time education,assisting students in recognizing their mistakes is more crucial than simply providing correct answers. However, current research tends to prioritize obtaining accurate solutions to math problems rather than correcting potentially incorrect ones. Therefore, we modify the research paradigm, demonstrating that improving mathematical reasoning abilities does not equate to mastery in error correction. Meanwhile, we propose a novel method called diagnostic-oriented promping(DOP) aimed at facilitating LLMs to excel in error correction. In experiments, DOP has shown outstanding performance, highlighting its significant impact. We argue that in mathematical education, the demand for outstanding correctors surpasses that for proficient reasoners. Codes and data are available on https://github.com/ChenhaoEcnuCS/Reason-Correct.