Teaching LLMs for Step-Level Automatic Math Correction via Reinforcement Learning

📄 arXiv: 2503.18432v1 📥 PDF

作者: Junsong Li, Jie Zhou, Yutao Yang, Bihao Zhan, Qianjun Pan, Yuyang Ding, Qin Chen, Jiang Bo, Xin Lin, Liang He

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-03-24

💡 一句话要点

提出StepAMC，利用强化学习提升LLM在步骤级自动数学纠错中的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动数学纠错 强化学习 大型语言模型 步骤级反馈 空间约束策略

📋 核心要点

  1. 现有自动数学纠错方法侧重最终答案，缺乏对解题步骤的细致分析和反馈。
  2. StepAMC将步骤级纠错转化为强化学习问题，提升LLM的推理能力，并设计约束策略网络。
  3. 实验结果表明，StepAMC在两个基准数据集上显著优于多个现有方法，效果提升明显。

📝 摘要（中文）

本文提出了一种基于强化学习（RL）的方法StepAMC，用于提升大型语言模型（LLM）在步骤级自动数学纠错方面的能力。现有研究主要关注问题级别的最终答案判断，忽略了对数学问题解决过程中每个步骤的详细反馈，而这需要语义理解和推理能力。StepAMC将文本分类任务中的步骤级自动数学纠错转化为RL问题，以增强LLM的推理能力。同时，设计了一个空间约束策略网络来提高RL的稳定性，并引入了一个细粒度的奖励网络，将二元人工反馈转化为连续值。在两个基准数据集上进行了大量实验，结果表明该模型优于11个强大的基线模型。

🔬 方法详解

问题定义：论文旨在解决自动数学纠错中，现有方法无法提供步骤级反馈的问题。现有方法主要关注最终答案的正确性，忽略了中间步骤的逻辑和计算错误，导致学生无法获得针对性的指导。这种问题需要模型具备更强的语义理解和推理能力，才能准确判断每个步骤的正确性，并给出相应的反馈。

核心思路：论文的核心思路是将步骤级的自动数学纠错任务建模成一个强化学习问题。通过强化学习，模型可以学习到如何逐步地对学生的解题步骤进行评估和纠正。这种方法能够更好地利用人工反馈，并引导模型学习更有效的纠错策略。

技术框架：StepAMC的整体框架包含三个主要模块：1) 策略网络：负责生成对学生解题步骤的评估和纠正动作。论文设计了一个空间约束策略网络，以提高RL的稳定性。2) 奖励网络：负责将二元的人工反馈（正确/错误）转化为连续的奖励值，从而更细致地评估模型的行为。3) 强化学习算法：使用强化学习算法训练策略网络，使其能够最大化累积奖励。

关键创新：StepAMC的关键创新在于将步骤级自动数学纠错问题转化为强化学习问题，并设计了空间约束策略网络和细粒度的奖励网络。与传统的文本分类方法相比，强化学习方法能够更好地利用人工反馈，并学习更有效的纠错策略。空间约束策略网络可以提高RL的稳定性，避免模型在训练过程中出现震荡。细粒度的奖励网络可以更准确地评估模型的行为，从而提高模型的学习效率。

关键设计：空间约束策略网络的设计旨在限制策略的搜索空间，避免模型在训练过程中出现不稳定的情况。奖励网络的设计采用了细粒度的奖励函数，将二元的人工反馈转化为连续值，从而更准确地评估模型的行为。具体的参数设置和网络结构在论文中有详细描述，例如策略网络的具体结构、奖励函数的具体形式等。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

StepAMC在两个基准数据集上进行了广泛的实验，结果表明其性能显著优于11个强大的基线模型。具体而言，StepAMC在准确率、召回率和F1值等指标上均取得了显著提升，证明了其在步骤级自动数学纠错方面的有效性。实验结果还表明，空间约束策略网络和细粒度的奖励网络对模型的性能提升起到了关键作用。

🎯 应用场景

该研究成果可应用于在线教育平台、智能辅导系统等领域，为学生提供个性化的数学学习辅导。通过自动检测和纠正学生解题过程中的错误，可以帮助学生更好地理解数学概念，提高解题能力。此外，该技术还可以用于教师备课和作业批改，减轻教师的工作负担，提高教学效率。未来，该技术有望与自然语言生成技术结合，实现更智能的解题步骤解释和指导。

📄 摘要（原文）

Automatic math correction aims to check students' solutions to mathematical problems via artificial intelligence technologies. Most existing studies focus on judging the final answer at the problem level, while they ignore detailed feedback on each step in a math problem-solving process, which requires abilities of semantic understanding and reasoning. In this paper, we propose a reinforcement learning (RL)-based method to boost large language model (LLM) for step-level automatic math correction, named StepAMC. Particularly, we convert the step-level automatic math correction within the text classification task into an RL problem to enhance the reasoning capabilities of LLMs. Then, we design a space-constrained policy network to improve the stability of RL. Then, we introduce a fine-grained reward network to convert the binary human feedback into a continuous value. We conduct extensive experiments over two benchmark datasets and the results show that our model outperforms the eleven strong baselines.