CodeBoost: Boosting Code LLMs by Squeezing Knowledge from Code Snippets with RL

📄 arXiv: 2508.05242v1 📥 PDF

作者: Sijie Wang, Quanjiang Guo, Kai Zhao, Yawei Zhang, Xin Li, Xiang Li, Siqi Li, Rui She, Shangshu Yu, Wee Peng Tay

分类: cs.CL

发布日期: 2025-08-07

备注: Technical report. Project page: https://github.com/sijieaaa/CodeBoost

💡 一句话要点

CodeBoost：利用代码片段知识，通过强化学习提升代码大语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码大语言模型 强化学习 代码片段 后训练 代码生成

📋 核心要点

  1. 现有代码大语言模型依赖人工标注指令进行后训练，但高质量指令数据获取成本高昂且难以扩展。
  2. CodeBoost提出一种新的后训练框架，仅利用大量可用的代码片段，无需人工标注指令即可提升模型性能。
  3. 实验表明，CodeBoost在多个代码大语言模型和基准测试中均能稳定提升性能，验证了其有效性。

📝 摘要（中文）

代码大语言模型(LLMs)已成为构建高效和自动化编码流程不可或缺的工具。现有的模型通常使用强化学习(RL)从通用LLMs进行后训练，使用“人工指令-最终答案”对，其中指令通常来自人工标注。然而，收集高质量的编码指令既费力又难以扩展。另一方面，代码片段可以从各种来源大量获得。这种不平衡是基于指令的后训练的主要瓶颈。我们提出了CodeBoost，一个完全从代码片段增强代码LLMs的后训练框架，无需依赖人工标注的指令。CodeBoost引入了以下关键组件：(1)最大团聚类，从代码中选择具有代表性和多样性的训练语料库；(2)双向预测，使模型能够从前向和后向预测目标中学习；(3)错误感知预测，结合来自正确和不正确输出的学习信号；(4)异构增强，使训练分布多样化，以丰富代码语义；(5)异构奖励，通过多种奖励类型（包括格式正确性和来自成功和失败的执行反馈）来指导模型学习。跨多个代码LLMs和基准的广泛实验验证了CodeBoost始终如一地提高了性能，证明了其作为可扩展且有效的训练流程的有效性。

🔬 方法详解

问题定义：现有代码大语言模型的后训练依赖于人工标注的指令数据，而高质量的指令数据获取成本高昂，成为模型性能提升的瓶颈。如何利用大量存在的代码片段，在没有人工标注指令的情况下，提升代码大语言模型的性能，是本文要解决的问题。

核心思路：CodeBoost的核心思路是利用强化学习，直接从代码片段中学习，无需人工标注指令。通过设计合适的奖励函数和训练策略，使模型能够从代码片段中提取知识，并提升代码生成能力。关键在于如何从海量代码片段中选择有代表性的样本，以及如何设计有效的学习目标和奖励机制。

技术框架：CodeBoost的整体框架包括以下几个主要模块：1) 最大团聚类(Maximum-Clique Curation)：从海量代码片段中选择具有代表性和多样性的训练语料库。2) 双向预测(Bi-directional Prediction)：使模型能够从前向和后向预测目标中学习，增强模型对代码上下文的理解。3) 错误感知预测(Error-aware Prediction)：结合来自正确和不正确输出的学习信号，提升模型的鲁棒性。4) 异构增强(Heterogeneous Augmentation)：通过多种数据增强方法，使训练分布多样化，以丰富代码语义。5) 异构奖励(Heterogeneous Rewarding)：通过多种奖励类型（包括格式正确性和来自成功和失败的执行反馈）来指导模型学习。

关键创新：CodeBoost的关键创新在于：1) 提出了一种无需人工标注指令，直接从代码片段中学习的后训练框架。2) 设计了一系列有效的训练策略，包括最大团聚类、双向预测、错误感知预测、异构增强和异构奖励，以提升模型的代码生成能力。3) 通过强化学习，使模型能够从代码片段的执行结果中学习，从而更好地理解代码的语义。

关键设计：在最大团聚类中，使用图论方法选择最具代表性的代码片段子集。在双向预测中，模型需要同时预测代码片段的前后部分。在错误感知预测中，对错误的输出给予一定的惩罚，以避免模型生成错误的答案。在异构增强中，使用多种代码变换技术，如变量重命名、代码重排等，来增加训练数据的多样性。在异构奖励中，使用多种奖励信号，包括格式正确性、编译成功率、测试用例通过率等，来指导模型的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CodeBoost在多个代码大语言模型和基准测试中均能稳定提升性能。例如，在HumanEval基准测试中，使用CodeBoost后训练的模型性能提升了显著的百分比，超过了其他基线方法。这些结果证明了CodeBoost作为一种可扩展且有效的训练流程的有效性。

🎯 应用场景

CodeBoost具有广泛的应用前景，可以用于提升各种代码大语言模型的性能，从而提高软件开发的效率和质量。它可以应用于自动化代码生成、代码补全、代码修复等领域，帮助开发者更快地编写出高质量的代码。此外，CodeBoost还可以用于教育领域，帮助学生更好地学习编程。

📄 摘要（原文）

Code large language models (LLMs) have become indispensable tools for building efficient and automated coding pipelines. Existing models are typically post-trained using reinforcement learning (RL) from general-purpose LLMs using "human instruction-final answer" pairs, where the instructions are usually from manual annotations. However, collecting high-quality coding instructions is both labor-intensive and difficult to scale. On the other hand, code snippets are abundantly available from various sources. This imbalance presents a major bottleneck in instruction-based post-training. We propose CodeBoost, a post-training framework that enhances code LLMs purely from code snippets, without relying on human-annotated instructions. CodeBoost introduces the following key components: (1) maximum-clique curation, which selects a representative and diverse training corpus from code; (2) bi-directional prediction, which enables the model to learn from both forward and backward prediction objectives; (3) error-aware prediction, which incorporates learning signals from both correct and incorrect outputs; (4) heterogeneous augmentation, which diversifies the training distribution to enrich code semantics; and (5) heterogeneous rewarding, which guides model learning through multiple reward types including format correctness and execution feedback from both successes and failures. Extensive experiments across several code LLMs and benchmarks verify that CodeBoost consistently improves performance, demonstrating its effectiveness as a scalable and effective training pipeline.