JT-Math: A Multi-Stage Framework for Advanced Mathematical Reasoning in Large Language Models

📄 arXiv: 2507.19748v1 📥 PDF

作者: Yifan Hao, Fangning Chao, Yaqian Hao, Zhaojun Cui, Huan Bai, Haiyu Zhang, Yankai Liu, Chao Deng, Junlan Feng

分类: cs.CL

发布日期: 2025-07-26

💡 一句话要点

JT-Math：一个用于大语言模型高级数学推理的多阶段框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学推理 大语言模型 多阶段框架 强化学习 长链思维 开源模型 指令微调

📋 核心要点

  1. 现有大语言模型在复杂数学问题上表现不足，缺乏深度理解和多步骤推理能力。
  2. JT-Math提出多阶段优化框架，构建基础、指令和思考三种模型，提升数学推理能力。
  3. JT-Math-8B在同等规模开源模型中表现出色，超越O1-mini和GPT-4o，并在竞赛级数学中表现优异。

📝 摘要（中文）

数学推理是通用人工智能的基石，也是评估大型语言模型（LLM）能力的主要基准。尽管目前最先进的模型显示出潜力，但它们在面对需要深刻的概念理解和复杂的多步骤推理的复杂问题时，常常会失败。为了应对这一挑战，我们推出了JT-Math-8B，这是一系列开源模型，包括基础版、指令版和思考版，它们建立在一个系统的多阶段优化框架之上。我们的预训练语料库是一个高质量的2100亿token数据集，通过专门的数据管道进行管理，该管道使用基于模型的验证来确保质量和多样性。指令模型通过监督微调（SFT）和基于GRPO的强化学习（RL）方法进行优化，以获得直接、简洁的答案。思考模型使用长链思维（Long CoT）方法进行复杂的问题求解训练，将SFT与一种新颖的多阶段RL课程相结合，该课程逐步增加任务难度和上下文长度，最高可达32K个token。JT-Math-8B在同等规模的开源模型中取得了最先进的结果，超越了OpenAI的O1-mini和GPT-4o等著名模型，并在竞赛级别的数学中表现出卓越的性能。

🔬 方法详解

问题定义：现有的大语言模型在处理需要深度概念理解和复杂多步骤推理的数学问题时表现不佳。它们往往难以进行有效的推理，导致无法得到准确的答案。现有的方法在处理长上下文和逐步提升任务难度方面存在局限性。

核心思路：JT-Math的核心思路是通过一个多阶段的优化框架，逐步提升模型的数学推理能力。该框架包括数据构建、模型训练和强化学习等多个阶段，旨在让模型能够更好地理解数学概念，并进行复杂的多步骤推理。通过长链思维（Long CoT）方法，模型能够逐步分解问题，并最终得到答案。

技术框架：JT-Math的整体框架包括以下几个主要阶段：1) 数据构建：构建高质量的预训练数据集，包括数学文本和问题。2) 基础模型训练：使用预训练数据集训练基础模型。3) 指令模型训练：通过监督微调（SFT）和基于GRPO的强化学习（RL）方法，优化模型以获得直接、简洁的答案。4) 思考模型训练：使用长链思维（Long CoT）方法，结合SFT和多阶段RL课程，训练模型进行复杂问题求解。

关键创新：JT-Math的关键创新在于其多阶段优化框架和长链思维（Long CoT）方法的结合。多阶段优化框架能够逐步提升模型的数学推理能力，而长链思维方法则能够让模型更好地分解问题，并进行逐步推理。此外，该论文还提出了一个新颖的多阶段RL课程，该课程逐步增加任务难度和上下文长度，从而更好地训练模型。

关键设计：在数据构建阶段，论文使用基于模型的验证方法来确保数据的质量和多样性。在模型训练阶段，论文使用了监督微调（SFT）和强化学习（RL）等方法。在强化学习阶段，论文使用了基于GRPO的强化学习方法，并设计了一个多阶段RL课程。该课程逐步增加任务难度和上下文长度，最高可达32K个token。此外，论文还使用了长链思维（Long CoT）方法，让模型能够逐步分解问题，并进行逐步推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JT-Math-8B在同等规模的开源模型中取得了最先进的结果，超越了OpenAI的O1-mini和GPT-4o等著名模型。在竞赛级别的数学问题上，JT-Math-8B也表现出卓越的性能，证明了其在复杂数学推理方面的强大能力。该模型在处理长上下文和复杂推理链方面具有显著优势。

🎯 应用场景

JT-Math的研究成果可应用于教育领域，例如智能辅导系统，帮助学生理解和解决复杂的数学问题。此外，该技术还可应用于科学研究、金融分析等领域，提升相关领域的自动化推理能力。未来，该研究有望推动通用人工智能的发展，使机器能够更好地理解和解决现实世界中的复杂问题。

📄 摘要（原文）

Mathematical reasoning is a cornerstone of artificial general intelligence and a primary benchmark for evaluating the capabilities of Large Language Models (LLMs). While state-of-the-art models show promise, they often falter when faced with complex problems that demand deep conceptual understanding and intricate, multi-step deliberation. To address this challenge, we introduce JT-Math-8B, a series of open-source models comprising base, instruct, and thinking versions, built upon a systematic, multi-stage optimization framework. Our pre-training corpus is a high-quality, 210B-token dataset curated through a dedicated data pipeline that uses model-based validation to ensure quality and diversity. The Instruct Model is optimized for direct, concise answers through Supervised Fine-Tuning (SFT) and a GRPO-based reinforcement learning (RL) method. The Thinking Model is trained for complex problem-solving using a Long Chain-of-Thought (Long CoT) approach, combining SFT with a novel, multi-stage RL curriculum that progressively increases task difficulty and context length up to 32K tokens. JT-Math-8B achieves state-of-the-art results among open-source models of similar size, surpassing prominent models like OpenAI's O1-mini and GPT-4o , and demonstrating superior performance on competition-level mathematics.