Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign

📄 arXiv: 2502.02068v2 📥 PDF

作者: Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

分类: cs.CR, cs.CL, cs.LG

发布日期: 2025-02-04 (更新: 2025-02-07)

💡 一句话要点

RoSeMary：面向大语言模型代码水印的ML/密码学协同设计框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码水印 大语言模型 知识产权保护 机器学习 密码学 零知识证明 CodeT5

📋 核心要点

  1. 现有代码水印方法难以在代码低熵的特性下，同时保证可检测性、保真性和鲁棒性。
  2. RoSeMary通过ML/密码学协同设计，端到端训练水印模块，并利用CodeT5扩大搜索空间，提升水印质量。
  3. 实验表明，RoSeMary在保证代码功能的同时，实现了高检测精度，并能抵抗攻击，提供高效安全的水印验证。

📝 摘要（中文）

本文提出RoSeMary，一种首创的ML/密码学协同设计的代码水印框架，旨在规范LLM生成的代码，避免软件开发中侵犯知识产权和不当使用的问题。由于代码的低熵特性，同时满足可检测性、保真性和鲁棒性三目标的优质水印设计面临挑战。此外，水印验证通常需要暴露签名，并且代码复用需要重新编码新的签名，这可能会损害系统的可用性。为了克服这些挑战，RoSeMary通过端到端地训练水印插入和提取模块来获得高质量的水印，以确保（i）带水印的代码功能不改变，并且（ii）利用预训练的CodeT5作为插入骨干网络来扩大代码的语法和变量重命名转换搜索空间，从而增强可检测性和鲁棒性。在部署中，RoSeMary使用零知识证明进行安全验证，而无需暴露底层签名。广泛的评估表明，RoSeMary在保持代码功能的同时，实现了高检测精度。RoSeMary还具有抵抗攻击的能力，并提供高效的安全水印验证。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）生成的代码可能存在的知识产权侵犯和不当使用问题。现有的代码水印方法难以在代码的低熵特性下，同时保证水印的可检测性、保真性和鲁棒性。此外，水印验证过程可能需要暴露签名，代码复用需要重新编码签名，从而影响系统的可用性和安全性。

核心思路：RoSeMary的核心思路是采用ML/密码学协同设计，通过端到端训练水印插入和提取模块，优化水印的质量。同时，利用零知识证明实现安全的水印验证，避免暴露底层签名。通过扩大代码的语法和变量重命名转换搜索空间，增强水印的鲁棒性。

技术框架：RoSeMary框架包含水印插入模块、水印提取模块和安全验证模块。水印插入模块负责将水印嵌入到LLM生成的代码中，水印提取模块负责从带水印的代码中提取水印信息。安全验证模块使用零知识证明，在不暴露签名的情况下验证水印的有效性。框架使用预训练的CodeT5作为插入骨干网络。

关键创新：RoSeMary的关键创新在于ML/密码学协同设计，以及利用零知识证明实现安全水印验证。传统的代码水印方法通常只关注水印的嵌入和提取，而忽略了安全验证的需求。RoSeMary通过密码学手段，保证了水印验证过程的安全性，防止恶意攻击者伪造或篡改水印。

关键设计：RoSeMary使用预训练的CodeT5作为水印插入模块的骨干网络，利用其强大的代码理解和生成能力。水印插入模块通过调整CodeT5的生成策略，在保证代码功能不变的前提下，嵌入水印信息。损失函数的设计需要平衡水印的可检测性、保真性和鲁棒性。零知识证明的具体协议选择需要考虑计算效率和安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoSeMary在实验中表现出高检测精度和鲁棒性，同时保持了代码的功能。实验结果表明，RoSeMary能够有效抵抗各种攻击，并提供高效的安全水印验证。具体的性能数据（如检测准确率、攻击抵抗能力等）在论文中有详细展示。

🎯 应用场景

RoSeMary可应用于软件开发领域，用于保护LLM生成的代码的知识产权，防止代码被恶意篡改或滥用。该技术可以帮助开发者追踪代码的来源，确保代码的安全性，并促进代码的合规使用。未来，RoSeMary有望成为LLM代码安全的重要组成部分。

📄 摘要（原文）

This paper introduces RoSeMary, the first-of-its-kind ML/Crypto codesign watermarking framework that regulates LLM-generated code to avoid intellectual property rights violations and inappropriate misuse in software development. High-quality watermarks adhering to the detectability-fidelity-robustness tri-objective are limited due to codes' low-entropy nature. Watermark verification, however, often needs to reveal the signature and requires re-encoding new ones for code reuse, which potentially compromising the system's usability. To overcome these challenges, RoSeMary obtains high-quality watermarks by training the watermark insertion and extraction modules end-to-end to ensure (i) unaltered watermarked code functionality and (ii) enhanced detectability and robustness leveraging pre-trained CodeT5 as the insertion backbone to enlarge the code syntactic and variable rename transformation search space. In the deployment, RoSeMary uses zero-knowledge proofs for secure verification without revealing the underlying signatures. Extensive evaluations demonstrated RoSeMary achieves high detection accuracy while preserving the code functionality. RoSeMary is also robust against attacks and provides efficient secure watermark verification.