Improving LLM Code Generation via Requirement-Aware Curriculum Reinforcement Learning

📄 arXiv: 2605.00433v1 📥 PDF

作者: Shouyu Yin, Zhao Tian, Junjie Chen, Shikai Guo

分类: cs.SE, cs.AI

发布日期: 2026-05-01

💡 一句话要点

提出RECRL框架，通过需求感知的课程强化学习提升LLM代码生成能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大型语言模型 课程强化学习 需求感知 软件工程

📋 核心要点

  1. 现有基于课程强化学习的代码生成方法在需求难度感知、优化和采样策略上存在不足，限制了LLM的性能。
  2. RECRL框架通过需求感知机制，自动评估需求难度，优化训练数据，并采用自适应采样策略构建课程。
  3. 实验结果表明，RECRL在多个基准测试中显著提升了LLM的代码生成性能，Pass@1指标平均提升1.23%-5.62%。

📝 摘要（中文）

本文提出了一种名为RECRL的需求感知课程强化学习框架，旨在提升基于大型语言模型（LLM）的代码生成性能。现有的基于课程强化学习（CRL）的方法存在需求难度感知不准确、需求难度优化缺失以及课程采样策略次优等局限性。RECRL框架能够自动感知模型特定的需求难度，优化具有挑战性的需求以提高训练数据利用率，并采用自适应课程采样策略来构建难度平滑变化的训练批次。在五个广泛使用的代码生成基准测试上，对五个最先进的LLM进行了大量实验，结果表明RECRL的有效性显著。例如，RECRL相比所有最先进的基线方法，平均Pass@1指标提升了1.23%-5.62%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在复杂编程需求下的代码生成能力不足的问题。现有的基于课程强化学习（CRL）的方法存在三个主要痛点：一是需求难度感知不准确，无法准确评估不同编程需求对模型的挑战程度；二是缺乏需求难度优化，难以充分利用具有挑战性的需求数据；三是课程采样策略次优，无法构建难度平滑过渡的训练课程，影响模型的学习效率和泛化能力。

核心思路：RECRL的核心思路是引入“需求感知”机制，使模型能够自动评估编程需求的难度，并根据难度动态调整训练策略。通过优化具有挑战性的需求，提高训练数据的利用率。同时，采用自适应课程采样策略，构建难度平滑变化的训练批次，从而提升模型的学习效率和代码生成能力。这种设计借鉴了软件需求工程的经验，将需求质量和难度作为提升模型性能的关键因素。

技术框架：RECRL框架主要包含三个模块：1) 需求难度感知模块：该模块负责自动评估编程需求的难度，为后续的难度优化和课程采样提供依据。具体实现方式未知。2) 需求难度优化模块：该模块针对具有挑战性的需求进行优化，例如通过数据增强或分解需求等方式，提高训练数据的利用率。具体实现方式未知。3) 自适应课程采样模块：该模块根据需求难度，动态调整训练批次的难度分布，构建难度平滑变化的训练课程。具体实现方式未知。整个框架通过强化学习的方式进行训练，以最大化代码生成的奖励。

关键创新：RECRL的关键创新在于引入了“需求感知”的概念，将编程需求的难度作为影响模型性能的重要因素。与现有方法相比，RECRL能够自动评估需求难度，并根据难度动态调整训练策略，从而更有效地利用训练数据，提升模型的学习效率和代码生成能力。现有方法通常采用固定的课程或随机采样策略，忽略了需求难度的差异，导致训练效率低下或模型性能受限。

关键设计：论文中未提供关于具体参数设置、损失函数、网络结构等技术细节的详细描述。需求难度感知模块、需求难度优化模块和自适应课程采样模块的具体实现方式未知。强化学习的奖励函数设计也未提及。这些细节对于理解和复现RECRL框架至关重要，需要在后续研究中进一步探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RECRL在五个代码生成基准测试上，对五个最先进的LLM进行了实验，结果表明RECRL的有效性显著。相比所有最先进的基线方法，RECRL的平均Pass@1指标提升了1.23%-5.62%。这一结果表明，RECRL能够有效提升LLM的代码生成能力，并在实际应用中具有显著的优势。

🎯 应用场景

RECRL框架具有广泛的应用前景，可用于自动化软件开发、代码生成助手、智能编程教育等领域。通过提升LLM的代码生成能力，RECRL可以显著提高软件开发效率，降低开发成本，并为程序员提供更智能化的辅助工具。未来，RECRL有望应用于更复杂的软件开发场景，例如自动化测试、代码修复和软件维护等。

📄 摘要（原文）

Code generation, which aims to automatically generate source code from given programming requirements, has the potential to substantially improve software development efficiency. With the rapid advancement of large language models (LLMs), LLM-based code generation has attracted widespread attention from both academia and industry. However, as programming requirements become increasingly complex, existing LLMs still exhibit notable performance limitations. To address this challenge, recent studies have proposed training-based curriculum reinforcement learning (CRL) strategies to improve LLM code generation performance. Despite their effectiveness, existing CRL approaches suffer from several limitations, including misaligned requirement difficulty perception, the absence of requirement difficulty optimization, and suboptimal curriculum sampling strategies. In CRL-based code generation, programming requirements serve as the sole input to the model, making their quality and difficulty critical to training effectiveness. Motivated by insights from software requirements engineering, we propose RECRL, a novel requirement-aware curriculum reinforcement learning framework for enhancing LLM-based code generation. RECRL automatically perceives model-specific requirement difficulty, optimizes challenging requirements to improve training data utilization, and employs an adaptive curriculum sampling strategy to construct training batches with smoothly varying difficulty. Extensive experiments on five state-of-the-art LLMs across five widely-used code generation benchmarks by comparing with five state-of-the-art baselines, demonstrate the significant effectiveness of RECRL. For example, RECRL achieves an average Pass@1 improvement of 1.23%-5.62% over all state-of-the-art baselines.