Function-Structured Reinforcement Learning with Executable Verifiers for Mathematical Reasoning

📄 arXiv: 2610.01729v1 📥 PDF

作者: Zihan Liu, Xurong Xie

分类: cs.LG

发布日期: 2026-10-01

备注: 5 pages, 2 figures, 2 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出功能结构化强化学习以解决数学推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数学推理 强化学习 功能结构化 多验证器 代码生成 监督学习 教育技术

📋 核心要点

  1. 现有方法在算法数学推理中面临中间错误指导不足和执行成功与数学正确性不一致的挑战。
  2. 本文提出的FSG-RL通过连接子问题图和Python实现，利用多验证器反馈来优化数学推理过程。
  3. 实验结果表明，GRPO在最终答案准确率和完整解决方案成功率上均有显著提升，验证了方法的有效性。

📝 摘要（中文）

算法数学推理需要可靠的分解、计算和聚合。最终答案奖励对中间错误的指导有限，而成功执行并不保证数学正确性。本文提出了功能结构化图强化学习（FSG-RL），通过多验证器反馈将子问题图与Python实现连接起来。该策略首先通过监督微调（SFT）学习从函数图生成代码，然后使用答案门控奖励和跨度级信用分配优化策略。该框架还支持教师监督和结构化记忆。基于Grade School Math 8K（GSM8K）、MathQA、MATH和Omni-MATH的基准测试显示，GRPO将最终答案准确率从43.25%提高到67.50%，完整解决方案成功率从32.25%提高到52.25%。在教师监督下的持续强化学习（RL）进一步带来增益。增益不仅限于生成格式正确的代码，还支持验证器引导的数学推理强化学习。

🔬 方法详解

问题定义：本文旨在解决算法数学推理中对中间步骤错误的指导不足，以及成功执行与数学正确性之间的矛盾。现有方法往往只关注最终答案，忽视了过程中的错误反馈。

核心思路：FSG-RL的核心思路是通过功能结构化的方式，将数学推理过程中的子问题图与Python代码实现相结合，利用多验证器反馈来提升推理的准确性和可靠性。这样的设计使得模型不仅关注最终结果，还能有效处理中间步骤的错误。

技术框架：该方法的整体架构包括两个主要阶段：首先，通过监督微调（SFT）学习生成代码；其次，采用组相对策略优化（GRPO）来优化策略，结合答案门控奖励和跨度级信用分配。框架还支持教师监督和结构化记忆，以增强学习效果。

关键创新：FSG-RL的最大创新在于引入了多验证器反馈机制，使得模型在生成代码的同时能够获得来自不同验证器的反馈，从而提高数学推理的准确性。这一方法与传统的单一奖励机制形成了鲜明对比。

关键设计：在模型设计中，采用了答案门控奖励机制，以确保模型在生成过程中能够关注到关键的中间步骤。此外，跨度级信用分配的设计使得模型能够更好地理解每个步骤对最终结果的贡献，优化了学习过程。整体网络结构则结合了图神经网络和强化学习的优势，提升了模型的表达能力和学习效率。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，GRPO在最终答案准确率上从43.25%提升至67.50%，完整解决方案成功率从32.25%提升至52.25%。在教师监督下的持续强化学习进一步提升了模型性能，验证了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、自动化数学推理系统和智能辅导工具。通过提高数学推理的准确性，FSG-RL可以为学生提供更有效的学习支持，帮助他们理解复杂的数学概念。此外，该方法也可应用于需要高精度计算的领域，如科学研究和工程设计，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Algorithmic mathematical reasoning requires reliable decomposition, computation, and aggregation. Final-answer rewards provide limited guidance on intermediate errors, while successful execution does not guarantee mathematical correctness. This work proposes Function-Structured Graph Reinforcement Learning (FSG-RL), connecting subproblem graphs and Python implementations with multi-verifier feedback. The policy first learns to generate code from function graphs through supervised fine-tuning (SFT). Group Relative Policy Optimization (GRPO) then optimizes the policy using answer-gated rewards and span-level credit assignment. The framework also supports teacher supervision and structured memory. A benchmark curated from Grade School Math 8K (GSM8K), MathQA, MATH, and Omni-MATH pairs public function graphs with private verification specifications. Under a unified evaluation protocol, GRPO improves final-answer accuracy from 43.25% to 67.50% and full solution success from 32.25% to 52.25% over SFT. Continued reinforcement learning (RL) with teacher supervision yields additional gains. The gains extend beyond producing correctly formatted code, supporting verifier-guided reinforcement learning for mathematical reasoning. Code is available at https://github.com/ZihanLiummyycc/FSG-RL.