A Mixture of Linear Corrections Generates Secure Code

📄 arXiv: 2507.09508v1 📥 PDF

作者: Weichen Yu, Ravi Mangal, Terry Zhuo, Matt Fredrikson, Corina S. Pasareanu

分类: cs.CR, cs.AI

发布日期: 2025-07-13

💡 一句话要点

提出混合线性校正方法，提升LLM代码生成安全性与功能性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大型语言模型 代码安全 漏洞检测 表征工程

📋 核心要点

  1. 现有大型语言模型在代码生成中难以有效检测和避免代码漏洞，安全性不足。
  2. 提出混合线性校正(MoC)方法，利用LLM内部对漏洞的敏感表征，引导模型生成更安全的代码。
  3. 实验表明，MoC在提升代码安全性的同时，还能改善代码的功能性，实现双重优化。

📝 摘要（中文）

大型语言模型(LLMs)在复杂的代码生成任务中表现出色，但在可靠地检测或避免代码漏洞方面仍然不足。本文通过表征工程技术，研究LLMs是否在内部编码了识别代码漏洞所需的概念。研究发现，当前的LLMs编码了精确的内部表征，能够区分易受攻击的代码和安全代码，其准确性高于标准提示方法。利用这些对漏洞敏感的表征，我们开发了一种推理时指导技术，通过混合校正(MoC)微妙地调节模型的token生成概率。我们的方法有效地引导LLMs生成较少漏洞的代码，同时不影响功能，展示了一种在生成代码中进行受控漏洞管理的实用方法。值得注意的是，MoC将Qwen2.5-Coder-7B的安全性提高了8.9%，同时将HumanEval pass@1的功能提高了2.1%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在代码生成过程中存在的安全漏洞问题。现有方法，如简单的提示工程，在引导LLM生成安全代码方面的效果有限，无法充分利用LLM自身蕴含的关于代码漏洞的知识。因此，如何有效利用LLM内部的知识来提升代码安全性是本文要解决的核心问题。

核心思路：论文的核心思路是，即使LLM在表面上无法有效识别或避免代码漏洞，其内部表征可能已经包含了区分安全代码和漏洞代码的信息。通过表征工程技术提取这些信息，并利用这些信息在推理阶段指导LLM的token生成过程，从而生成更安全的代码。

技术框架：整体框架包括三个主要步骤：1) 使用表征工程技术分析LLM内部表征，识别出对代码漏洞敏感的神经元或激活模式。2) 基于这些敏感表征，构建一个混合校正(MoC)模型，该模型能够根据当前生成的代码片段，计算出一个校正向量。3) 在推理阶段，将该校正向量添加到LLM的token生成概率中，从而微妙地调整模型的行为，使其倾向于生成更安全的代码。

关键创新：关键创新在于利用了LLM内部蕴含的、但未被充分利用的关于代码漏洞的知识。通过表征工程技术，将这些知识提取出来，并用于指导LLM的token生成过程。这种方法避免了对LLM进行大规模的重新训练，而是通过一种轻量级的推理时干预，实现了代码安全性的提升。

关键设计：MoC的关键设计在于校正向量的计算方式。论文采用了一种混合模型，将多个线性校正向量进行加权组合。每个线性校正向量对应于一种特定的代码漏洞类型。权重的大小取决于当前生成的代码片段与该漏洞类型的相关性。这种设计使得MoC能够根据不同的上下文，生成不同的校正向量，从而实现更精细的代码安全控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoC方法能够有效提升LLM代码生成的安全性。在Qwen2.5-Coder-7B模型上，MoC将代码的安全性提高了8.9%，同时在HumanEval pass@1测试中，代码的功能性也提升了2.1%。这表明MoC不仅能够减少代码漏洞，还能在一定程度上改善代码的质量。

🎯 应用场景

该研究成果可应用于各种代码自动生成场景，例如软件开发辅助工具、自动化代码审计系统等。通过集成MoC技术，可以显著降低生成代码中潜在的安全漏洞，提高软件系统的整体安全性。未来，该技术有望推广到更广泛的编程语言和代码生成任务中，为构建更安全可靠的软件生态系统做出贡献。

📄 摘要（原文）

Large language models (LLMs) have become proficient at sophisticated code-generation tasks, yet remain ineffective at reliably detecting or avoiding code vulnerabilities. Does this deficiency stem from insufficient learning about code vulnerabilities, or is it merely a result of ineffective prompting? Using representation engineering techniques, we investigate whether LLMs internally encode the concepts necessary to identify code vulnerabilities. We find that current LLMs encode precise internal representations that distinguish vulnerable from secure code--achieving greater accuracy than standard prompting approaches. Leveraging these vulnerability-sensitive representations, we develop an inference-time steering technique that subtly modulates the model's token-generation probabilities through a mixture of corrections (MoC). Our method effectively guides LLMs to produce less vulnerable code without compromising functionality, demonstrating a practical approach to controlled vulnerability management in generated code. Notably, MoC enhances the security ratio of Qwen2.5-Coder-7B by 8.9\%, while simultaneously improving functionality on HumanEval pass@1 by 2.1\%.