From Reasoning to Code: GRPO Optimization for Underrepresented Languages

📄 arXiv: 2506.11027v2 📥 PDF

作者: Federico Pennino, Bianca Raimondi, Massimo Rondelli, Andrea Gurioli, Maurizio Gabbrielli

分类: cs.LG, cs.AI, cs.PL

发布日期: 2025-05-20 (更新: 2025-06-16)

备注: Preprint. Under review

💡 一句话要点

提出GRPO优化方法，提升LLM在低资源语言上的代码生成能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 低资源语言 强化学习 推理 GRPO优化

📋 核心要点

  1. 现有大型语言模型在低资源编程语言的代码生成方面表现不佳，主要原因是缺乏充足的训练数据。
  2. 论文提出使用小规模模型结合GRPO，通过显式推理步骤来提升代码生成能力，尤其适用于低资源语言。
  3. 实验表明，该方法在Prolog等语言上显著提高了推理质量、代码准确性和逻辑正确性。

📝 摘要（中文）

本文提出了一种通用方法，利用小规模代码版本的Qwen 2.5模型，结合Group Relative Policy Optimization (GRPO)，通过显式的推理步骤实现有效的代码生成，这对于缺乏大量训练数据的语言尤其有益。以Prolog为例，由于其在线资源有限，初始模型在生成可执行代码方面面临挑战。经过训练，该模型通过将推理驱动的反馈直接整合到强化学习循环中，成功生成逻辑一致且语法准确的代码。使用数学逻辑问题基准的实验评估表明，推理质量、代码准确性和逻辑正确性均得到显著提高，突显了该方法在缺乏大量训练资源的编程语言中的潜力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在训练数据匮乏的编程语言（如Prolog）上生成准确且可执行代码的难题。现有方法在这些低资源语言上的表现不佳，主要是因为缺乏足够的训练数据，导致模型难以学习到正确的语法和语义规则。

核心思路：论文的核心思路是利用小规模的LLM（Qwen 2.5）结合Group Relative Policy Optimization (GRPO) 算法，通过显式的推理步骤来引导代码生成过程。这种方法强调推理过程的重要性，使得模型能够更好地理解问题的逻辑，从而生成更准确的代码。

技术框架：整体框架包含以下几个主要步骤：1) 使用小规模代码版本的Qwen 2.5模型作为基础模型；2) 设计推理步骤，引导模型进行代码生成；3) 使用GRPO算法进行强化学习训练，将推理驱动的反馈整合到训练循环中；4) 通过数学逻辑问题基准进行实验评估，验证方法的有效性。

关键创新：最重要的技术创新点在于将GRPO算法与显式推理步骤相结合，用于优化低资源语言的代码生成。与传统的直接生成代码的方法相比，该方法更加注重推理过程，使得模型能够更好地理解问题的逻辑，从而生成更准确的代码。GRPO算法允许模型在多个候选代码生成方案中进行选择，并根据推理反馈进行优化。

关键设计：论文中使用了小规模的Qwen 2.5模型，以降低计算成本。GRPO算法的具体参数设置未知，但其核心思想是利用多个策略之间的相对性能差异来指导训练。损失函数的设计也至关重要，需要能够反映代码的准确性和逻辑正确性。推理步骤的设计需要根据具体的编程语言和问题领域进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用GRPO优化方法后，模型在Prolog语言的数学逻辑问题基准上的推理质量、代码准确性和逻辑正确性均得到显著提高。具体的性能数据和提升幅度在论文中未明确给出，但摘要强调了该方法在低资源语言上的潜力。

🎯 应用场景

该研究成果可应用于各种缺乏大量训练数据的编程语言的代码生成，例如一些小众的领域特定语言或新兴的编程语言。该方法可以帮助开发者更高效地生成代码，降低开发成本，并促进这些语言的普及和应用。此外，该方法还可以应用于教育领域，帮助学生更好地学习和理解编程语言。

📄 摘要（原文）

Generating accurate and executable code using large language models (LLMs) is challenging for languages with limited public training data compared to popular languages such as Python. This paper introduces a generalizable approach that uses small-scale code versions of the Qwen 2.5 model combined with Group Relative Policy Optimization (GRPO) to enable effective code generation through explicit reasoning steps, which is particularly beneficial for languages with smaller source code databases. Using Prolog as a representative use case -- given its limited online presence -- the initial model faced challenges in generating executable code. After some training steps, the model successfully produces logically consistent and syntactically accurate code by directly integrating reasoning-driven feedback into the reinforcement learning loop. Experimental evaluations using mathematical logic problem benchmarks illustrate significant improvements in reasoning quality, code accuracy, and logical correctness, underscoring the potential of this approach to benefit a wide range of programming languages lacking extensive training resources.