StepMathAgent: A Step-Wise Agent for Evaluating Mathematical Processes through Tree-of-Error

📄 arXiv: 2503.10105v1 📥 PDF

作者: Shu-Xun Yang, Cunxiang Wang, Yidong Wang, Xiaotao Gu, Minlie Huang, Jie Tang

分类: cs.AI

发布日期: 2025-03-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出StepMathAgent，通过错误树评估数学过程，提升LLM数学能力评估的准确性和可解释性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学过程评估 大语言模型 错误树 LLM StepMathBench 数学能力 过程评估

📋 核心要点

  1. 现有LLM数学能力评估方法侧重最终答案，缺乏对解题过程的细致评估，导致结果不准确且难以解释。
  2. StepMathAgent通过构建错误树，对解题步骤进行逻辑分割、评分和聚合，从而实现对数学过程的全面评估。
  3. StepMathBench实验表明，StepMathAgent在数学过程评估中优于现有方法，更符合人类评估偏好，适用性更广。

📝 摘要（中文）

本文提出了一种基于错误树的新型数学过程评估代理StepMathAgent，旨在解决现有评估方法仅关注最终答案而导致的评估结果不准确和缺乏可解释性的问题，以及无法评估证明题或开放性问题的局限性。StepMathAgent包含四个内部核心操作：逻辑步骤分割、步骤评分、分数聚合和错误树生成，以及四个外部扩展模块：难度校准、简洁性评估、完整性验证和格式评估。此外，本文还构建了StepMathBench基准，包含1000个步骤划分的过程评估实例，这些实例源自200个高质量数学问题，并按问题类型、学科类别和难度级别进行分组。在StepMathBench上的实验表明，StepMathAgent优于所有最先进的方法，展现出与人类对齐的评估偏好，并具有广泛的适用性。

🔬 方法详解

问题定义：现有的大语言模型（LLM）数学能力评估方法主要关注最终答案的正确性，忽略了解题过程的合理性和完整性。这种评估方式无法准确反映LLM的推理能力，也难以诊断LLM在解题过程中出现的具体错误。此外，对于证明题或开放性问题，仅评估最终答案是远远不够的。因此，需要一种能够对数学解题过程进行细粒度评估的方法。

核心思路：StepMathAgent的核心思路是通过构建“错误树”（Tree-of-Error）来模拟人类专家评估数学解题过程的方式。错误树能够记录解题过程中的每一步骤，并对每一步骤的正确性进行评估。通过分析错误树，可以深入了解LLM在解题过程中出现的具体错误，从而更准确地评估LLM的数学能力。这种方法不仅关注最终答案，更关注解题过程的逻辑性和完整性。

技术框架：StepMathAgent的整体框架包含四个内部核心操作和四个外部扩展模块。内部核心操作包括：1) 逻辑步骤分割：将LLM的解题过程分解为一系列逻辑步骤；2) 步骤评分：对每个步骤的正确性进行评分；3) 分数聚合：将各个步骤的分数聚合成一个总分；4) 错误树生成：根据步骤评分结果构建错误树。外部扩展模块包括：1) 难度校准：根据问题的难度调整评分标准；2) 简洁性评估：评估解题过程的简洁程度；3) 完整性验证：验证解题过程是否完整；4) 格式评估：评估解题过程的格式是否规范。

关键创新：StepMathAgent最重要的技术创新点在于提出了“错误树”的概念，并将其应用于数学解题过程的评估。与传统的评估方法相比，错误树能够更全面、更细致地记录和分析LLM的解题过程，从而更准确地评估LLM的数学能力。此外，StepMathAgent还引入了多个外部扩展模块，进一步提升了评估的准确性和可靠性。

关键设计：在步骤评分方面，StepMathAgent采用了多种评分策略，包括基于规则的评分、基于模型的评分和人工评分。在错误树生成方面，StepMathAgent采用了多种树结构，包括线性树、分支树和混合树。此外，StepMathAgent还设计了多种损失函数，用于训练步骤评分模型和错误树生成模型。具体的参数设置和网络结构在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

StepMathBench实验结果表明，StepMathAgent在数学过程评估中显著优于现有方法，尤其是在评估复杂问题和证明题时。StepMathAgent的评估结果与人类专家的评估结果更加一致，表明其具有更好的人类对齐性。具体性能数据和对比基线可在论文中查阅。

🎯 应用场景

StepMathAgent可应用于大语言模型数学能力的评测与诊断，辅助模型改进与优化。同时，该方法也可用于数学教育领域，帮助学生识别解题过程中的错误，提升解题能力。此外，该研究思路可以推广到其他需要过程评估的领域，例如代码生成、文本摘要等。

📄 摘要（原文）

Evaluating mathematical capabilities is critical for assessing the overall performance of large language models (LLMs). However, existing evaluation methods often focus solely on final answers, resulting in highly inaccurate and uninterpretable evaluation outcomes, as well as their failure to assess proof or open-ended problems. To address these issues, we propose a novel mathematical process evaluation agent based on Tree-of-Error, called StepMathAgent. This agent incorporates four internal core operations: logical step segmentation, step scoring, score aggregation and error tree generation, along with four external extension modules: difficulty calibration, simplicity evaluation, completeness validation and format assessment. Furthermore, we introduce StepMathBench, a benchmark comprising 1,000 step-divided process evaluation instances, derived from 200 high-quality math problems grouped by problem type, subject category and difficulty level. Experiments on StepMathBench show that our proposed StepMathAgent outperforms all state-of-the-art methods, demonstrating human-aligned evaluation preferences and broad applicability to various scenarios. Our data and code are available at https://github.com/SHU-XUN/StepMathAgent.