Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model

📄 arXiv: 2602.07422v1 📥 PDF

作者: Tianyi Wu, Mingzhe Du, Yue Liu, Chengran Yang, Terry Yue Zhuo, Jiaheng Zhang, See-Kiong Ng

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-02-07

🔗 代码/项目: GITHUB

💡 一句话要点

SecCoderX：基于在线强化学习和漏洞奖励模型的安全代码生成框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 安全代码生成 强化学习 漏洞检测 大型语言模型 在线学习

📋 核心要点

  1. 现有安全代码生成方法常在提升安全性的同时显著降低代码的功能性，造成功能性与安全性之间的矛盾。
  2. SecCoderX利用在线强化学习框架，通过漏洞检测资源合成训练任务，并训练漏洞奖励模型，实现安全与功能的平衡。
  3. 实验结果表明，SecCoderX在有效安全率（ESR）上优于现有方法，相比未对齐模型提升约10%。

📝 摘要（中文）

大型语言模型（LLMs）在软件开发中应用日益广泛，但其生成不安全代码的倾向仍然是实际部署的主要障碍。现有的安全代码对齐方法通常面临功能性与安全性之间的悖论，即提高安全性往往以牺牲大量效用为代价。我们提出了SecCoderX，一个用于保持功能性的安全代码生成的在线强化学习框架。SecCoderX首先通过两种方式将漏洞检测和安全代码生成联系起来：(i) 合成多样化的、基于现实的、诱导漏洞的编码任务，用于在线RL rollouts；(ii) 训练一个基于推理的漏洞奖励模型，该模型提供可扩展且可靠的安全监督。这些组件共同在一个在线RL循环中统一起来，以对齐代码LLM，从而生成安全且功能正常的代码。大量实验表明，SecCoderX实现了最先进的性能，与未对齐的模型相比，有效安全率（ESR）提高了约10%，而先前的方法通常会使ESR降低14-54%。我们发布了我们的代码、数据集和模型检查点。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）生成代码时存在的安全漏洞问题。现有方法在提高代码安全性的同时，往往会牺牲代码的功能性，导致实用性下降。因此，如何在保证代码功能的同时，有效提升代码的安全性，是本研究要解决的核心问题。

核心思路：SecCoderX的核心思路是利用在线强化学习（RL）框架，通过不断与环境交互来优化代码生成策略，从而生成既安全又具有功能的代码。该方法通过漏洞检测资源来合成训练任务，并训练一个漏洞奖励模型，为RL提供安全性的反馈信号。

技术框架：SecCoderX的整体框架包含以下几个主要模块：1) 漏洞诱导任务生成器：用于合成多样化的、基于现实的漏洞诱导编码任务；2) 代码LLM：作为RL中的智能体，负责生成代码；3) 漏洞奖励模型：用于评估生成代码的安全性，并提供奖励信号；4) 在线RL循环：通过不断迭代，优化代码LLM的生成策略。

关键创新：SecCoderX的关键创新在于：1) 将漏洞检测和安全代码生成联系起来，利用现有的漏洞检测资源来指导代码生成；2) 提出了一个基于推理的漏洞奖励模型，能够提供可扩展且可靠的安全监督；3) 采用在线RL框架，能够不断学习和适应新的安全挑战。

关键设计：漏洞奖励模型的设计是关键。它基于推理，能够更准确地评估代码的安全性。在线RL循环中，奖励函数的设计至关重要，需要平衡代码的功能性和安全性。具体参数设置和网络结构等细节在论文中有详细描述，但摘要中未明确提及。

📊 实验亮点

SecCoderX在实验中表现出色，与未对齐的模型相比，有效安全率（ESR）提高了约10%。而现有的安全代码对齐方法通常会使ESR降低14-54%。这表明SecCoderX能够在保证代码功能的同时，显著提升代码的安全性，优于现有方法。

🎯 应用场景

SecCoderX具有广泛的应用前景，可用于各种软件开发场景，例如Web应用开发、移动应用开发、嵌入式系统开发等。通过集成SecCoderX，可以显著提高代码的安全性，降低软件漏洞带来的风险，从而提升软件产品的质量和可靠性。该研究的成果有助于推动LLM在软件开发领域的更广泛应用。

📄 摘要（原文）

Large language models (LLMs) are increasingly used in software development, yet their tendency to generate insecure code remains a major barrier to real-world deployment. Existing secure code alignment methods often suffer from a functionality--security paradox, improving security at the cost of substantial utility degradation. We propose SecCoderX, an online reinforcement learning framework for functionality-preserving secure code generation. SecCoderX first bridges vulnerability detection and secure code generation by repurposing mature detection resources in two ways: (i) synthesizing diverse, reality-grounded vulnerability-inducing coding tasks for online RL rollouts, and (ii) training a reasoning-based vulnerability reward model that provides scalable and reliable security supervision. Together, these components are unified in an online RL loop to align code LLMs to generate secure and functional code. Extensive experiments demonstrate that SecCoderX achieves state-of-the-art performance, improving Effective Safety Rate (ESR) by approximately 10% over unaligned models, whereas prior methods often degrade ESR by 14-54%. We release our code, dataset and model checkpoints at https://github.com/AndrewWTY/SecCoderX.