Right Is Not Enough: The Pitfalls of Outcome Supervision in Training LLMs for Math Reasoning

📄 arXiv: 2506.06877v2 📥 PDF

作者: Jiaxing Guo, Wenjie Yang, Shengzhong Zhang, Tongshan Xu, Lun Du, Da Zheng, Zengfeng Huang

分类: cs.CL

发布日期: 2025-06-07 (更新: 2025-06-24)

💡 一句话要点

提出ParaStepVerifier，用于数学推理LLM的细粒度步骤验证，解决奖励欺骗问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学推理 奖励欺骗 步骤验证 错误识别

📋 核心要点

  1. 现有基于结果奖励的LLM在数学推理中存在奖励欺骗问题，即答案正确但推理过程错误。
  2. 论文提出ParaStepVerifier，通过细粒度的步骤验证来识别LLM推理过程中的错误。
  3. 实验表明，ParaStepVerifier能更准确地识别错误解题过程，尤其在复杂问题中，优于现有方法。

📝 摘要（中文）

基于结果奖励的大型语言模型(LLMs)在数学问题解决方面取得了显著成功。然而，这种成功常常掩盖了一个关键问题：模型经常通过根本不合理的推理过程获得正确答案，这是一种奖励欺骗现象。我们引入了MathOlympiadEval，这是一个带有细粒度注释的新数据集，揭示了LLM答案正确性与其较低的过程正确性之间存在显著差距。现有的自动化方法（如LLM-as-a-judge）难以可靠地检测这些推理缺陷。为了解决这个问题，我们提出了一种新颖的方法ParaStepVerifier，用于对数学解题过程进行细致的、逐步的验证。ParaStepVerifier能够识别不正确的推理步骤。实验结果表明，与基线方法相比，ParaStepVerifier显著提高了识别错误解题过程的准确性，尤其是在复杂的多步骤问题中。这为评估和训练具有真正数学推理能力的LLM提供了一条更可靠的途径。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在数学推理中存在的“奖励欺骗”问题。具体来说，即使LLM给出了正确的答案，其推理过程可能存在严重的逻辑错误。现有的评估方法，例如LLM-as-a-judge，无法有效地检测这些细微的推理错误，导致对LLM数学能力的错误评估。

核心思路：论文的核心思路是将数学解题过程分解为多个步骤，并对每个步骤的正确性进行独立验证。通过这种细粒度的验证，可以更准确地识别推理过程中的错误，从而避免仅仅依赖最终结果的评估方式。这种方法旨在提高对LLM数学推理能力的评估精度，并为后续的训练提供更有效的反馈信号。

技术框架：ParaStepVerifier 的整体框架包含以下几个主要阶段：1. 问题分解：将复杂的数学问题分解为多个独立的步骤。2. 步骤生成：LLM 生成每个步骤的解题过程。3. 步骤验证：使用 ParaStepVerifier 对每个步骤的正确性进行验证。4. 错误识别：识别并标记推理过程中存在的错误步骤。5. 结果汇总：综合各个步骤的验证结果，给出最终的评估报告。

关键创新：ParaStepVerifier 的最重要创新在于其细粒度的步骤验证方法。与传统的只关注最终答案的评估方式不同，ParaStepVerifier 能够深入分析LLM的推理过程，识别出隐藏在正确答案背后的逻辑错误。这种方法能够更准确地评估LLM的数学推理能力，并为后续的训练提供更有效的反馈信号。与现有方法相比，ParaStepVerifier 能够更可靠地检测推理过程中的错误，从而避免对LLM数学能力的过度乐观评估。

关键设计：ParaStepVerifier 的关键设计在于如何有效地验证每个步骤的正确性。具体来说，论文可能采用了以下技术细节：1. 步骤分解策略：如何将复杂的数学问题分解为合理的步骤。2. 验证器设计：如何设计有效的验证器来判断每个步骤的正确性，例如，可以使用预定义的规则、符号计算或者其他LLM作为验证器。3. 错误标记策略：如何标记和分类推理过程中存在的错误，例如，可以根据错误的类型进行分类（例如，逻辑错误、计算错误等）。4. 置信度评估：如何评估验证器对每个步骤的验证结果的置信度，以便更好地判断最终的评估结果。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ParaStepVerifier 在识别错误解题过程的准确性方面显著优于现有方法，尤其是在处理复杂的多步骤问题时。具体的性能数据（例如，准确率、召回率等）以及与基线方法的对比结果（例如，LLM-as-a-judge）需要在论文中查找。论文强调ParaStepVerifier能够更有效地识别奖励欺骗现象，从而为训练具有真正数学推理能力的LLM提供更可靠的评估工具。

🎯 应用场景

该研究成果可应用于数学教育、自动解题系统、AI辅助科研等领域。通过更准确地评估LLM的数学推理能力，可以帮助学生更好地学习数学，提高自动解题系统的可靠性，并为科研人员提供更强大的AI工具。此外，该方法还可以推广到其他需要复杂推理的任务中，例如代码生成、逻辑推理等。

📄 摘要（原文）

Outcome-rewarded Large Language Models (LLMs) have demonstrated remarkable success in mathematical problem-solving. However, this success often masks a critical issue: models frequently achieve correct answers through fundamentally unsound reasoning processes, a phenomenon indicative of reward hacking. We introduce MathOlympiadEval, a new dataset with fine-grained annotations, which reveals a significant gap between LLMs' answer correctness and their low process correctness. Existing automated methods like LLM-as-a-judge struggle to reliably detect these reasoning flaws. To address this, we propose ParaStepVerifier, a novel methodology for meticulous, step-by-step verification of mathematical solutions. ParaStepVerifier identifies incorrect reasoning steps. Empirical results demonstrate that ParaStepVerifier substantially improves the accuracy of identifying flawed solutions compared to baselines, especially for complex, multi-step problems. This offers a more robust path towards evaluating and training LLMs with genuine mathematical reasoning.