Learning Like Humans: Advancing LLM Reasoning Capabilities via Adaptive Difficulty Curriculum Learning and Expert-Guided Self-Reformulation

📄 arXiv: 2505.08364v2 📥 PDF

作者: Enci Zhang, Xingang Yan, Wei Lin, Tianxiang Zhang, Qianchun Lu

分类: cs.AI

发布日期: 2025-05-13 (更新: 2025-09-17)

备注: 14 pages, 3 figs

💡 一句话要点

提出自适应难度课程学习与专家引导自重构，提升LLM数学推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学推理 课程学习 强化学习 自适应难度 专家引导 自我重构

📋 核心要点

  1. 现有LLM在复杂数学推理问题上表现不稳定，缺乏有效学习策略。
  2. 提出自适应难度课程学习和专家引导自重构，模拟人类学习过程。
  3. 实验表明，该方法在数学推理基准测试中显著提升了LLM的性能。

📝 摘要（中文）

大型语言模型在数学推理等领域取得了显著进展，但在解决复杂问题时仍面临挑战。受人类学习策略的启发，我们提出了两种新策略来增强大型语言模型解决复杂问题的能力。首先，自适应难度课程学习（ADCL）是一种新颖的课程学习策略，通过定期重新评估即将到来的数据批次中的难度，来解决难度偏移现象（即模型对问题难度的感知在训练过程中动态变化），从而保持与模型不断发展的能力相一致。其次，专家引导自重构（EGSR）是一种新颖的强化学习策略，通过引导模型在自己的概念框架内重构专家解决方案，而不是依赖直接模仿，从而弥合了模仿学习和纯探索之间的差距，促进了更深入的理解和知识同化。在具有挑战性的数学推理基准上，使用Qwen2.5-7B作为基础模型的大量实验表明，这些受人类启发的策略协同并显着提高了性能。值得注意的是，它们的组合应用在AIME24基准上比标准Zero-RL基线提高了10%，在AIME25上提高了16.6%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在复杂数学推理问题上表现不佳的问题。现有的方法，如直接模仿学习，可能导致模型过度依赖专家示例，而缺乏对问题本身的理解。此外，模型在训练过程中对问题难度的感知会发生变化（难度偏移），传统的课程学习方法难以适应这种动态变化。

核心思路：论文的核心思路是借鉴人类学习的两种关键策略：一是通过自适应调整学习难度来应对难度偏移，二是通过专家引导下的自我重构来促进更深层次的知识理解和同化。通过模拟人类的学习方式，提升LLM在复杂问题上的推理能力。

技术框架：整体框架包含两个主要模块：自适应难度课程学习（ADCL）和专家引导自重构（EGSR）。ADCL模块负责动态调整训练数据的难度，EGSR模块负责引导模型学习专家解决方案，并将其融入自身的知识体系。这两个模块协同工作，共同提升模型的推理能力。

关键创新：ADCL通过周期性地重新评估数据批次的难度，解决了训练过程中模型对问题难度感知的动态变化问题，使得课程学习能够更好地适应模型的学习进度。EGSR则通过引导模型在自身的概念框架内重构专家解决方案，避免了简单的模仿学习，促进了更深层次的知识理解和同化。

关键设计：ADCL的关键在于难度评估机制，具体实现方式未知。EGSR的关键在于如何设计奖励函数，以鼓励模型在重构专家解决方案的过程中进行探索和创新。具体损失函数和网络结构细节未知。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，所提出的方法在AIME24基准测试中比标准Zero-RL基线提高了10%，在AIME25基准测试中提高了16.6%。这些显著的性能提升表明，该方法能够有效地提升LLM在复杂数学推理问题上的能力。使用Qwen2.5-7B作为基础模型。

🎯 应用场景

该研究成果可应用于提升LLM在需要复杂推理能力的各种场景下的表现，例如科学研究、金融分析、智能客服等。通过提高LLM的推理能力，可以使其更好地解决实际问题，并为各行业带来更大的价值。未来，该方法有望推广到其他类型的复杂问题，并与其他技术相结合，进一步提升LLM的智能化水平。

📄 摘要（原文）

Despite impressive progress in areas like mathematical reasoning, large language models still face significant challenges in consistently solving complex problems. Drawing inspiration from key human learning strategies, we propose two novel strategies to enhance the capability of large language models to solve these complex problems. First, Adaptive Difficulty Curriculum Learning (ADCL) is a novel curriculum learning strategy that tackles the Difficulty Shift phenomenon (i.e., a model's perception of problem difficulty dynamically changes during training) by periodically re-estimating difficulty within upcoming data batches to maintain alignment with the model's evolving capabilities. Second, Expert-Guided Self-Reformulation (EGSR) is a novel reinforcement learning strategy that bridges the gap between imitation learning and pure exploration by guiding models to reformulate expert solutions within their own conceptual framework, rather than relying on direct imitation, fostering deeper understanding and knowledge assimilation. Extensive experiments on challenging mathematical reasoning benchmarks, using Qwen2.5-7B as the base model, demonstrate that these human-inspired strategies synergistically and significantly enhance performance. Notably, their combined application improves performance over the standard Zero-RL baseline by 10% on the AIME24 benchmark and 16.6% on AIME25.