RMCW: A Deletion-Robust Watermark Based on Reed--Muller Codes for Language Models

📄 arXiv: 2610.02817v1 📥 PDF

作者: Yi Wang, Baicheng Chen, Yu Wang, Jian Zhao, Yilei Chen, Tianxing He

分类: cs.CR, cs.CL, cs.LG

发布日期: 2026-10-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于Reed-Muller码的水印方法以增强语言模型的删除鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水印技术 Reed-Muller码 语言模型 鲁棒性 文本生成 攻击防御 代数结构 Reed-Solomon一致性

📋 核心要点

  1. 现有的大型语言模型水印在面对删除攻击时表现脆弱，难以保持水印的有效性。
  2. 本研究提出RMCW方法，通过局部代数结构和Reed-Solomon一致性增强水印的鲁棒性，解决了删除攻击带来的挑战。
  3. 实验结果显示，RMCW在C4和ELI5数据集上保持了强大的可检测性，并在多种攻击下优于现有基线方法。

📝 摘要（中文）

大型语言模型（LLM）水印提供了一种轻量级机制，用于识别特定模型生成的文本，但其鲁棒性在后处理攻击下仍然脆弱。删除攻击尤其具有挑战性，因为它们会改变标记位置，破坏观察到的标记与其原始水印位置之间的对齐。我们提出了基于Reed-Muller码的水印方法（RMCW）。与全局码字恢复不同，RMCW搜索幸存的局部代数结构，利用Reed-Muller码字的仿射线限制所诱导的Reed-Solomon一致性。在生成过程中，RMCW通过带有密钥的词汇分区将Reed-Muller结构注入序列。在检测过程中，它将给定文本映射到带键的词汇箱，并使用Berlekamp-Welch测试对局部子序列进行低度Reed-Solomon一致性测试。实验结果表明，RMCW在C4和ELI5数据集上表现出强大的干净文本可检测性，并在多种删除和重写攻击下优于或匹配基线方法。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型水印在删除攻击下的脆弱性。现有方法在标记位置被改变时，无法有效恢复水印信息，导致水印失效。

核心思路：RMCW方法通过利用Reed-Muller码的局部代数结构和Reed-Solomon一致性来增强水印的鲁棒性。该设计允许在删除攻击后仍能检测到水印信息。

技术框架：RMCW的整体架构包括两个主要阶段：生成阶段和检测阶段。在生成阶段，通过密钥分区将Reed-Muller结构注入文本序列；在检测阶段，将文本映射到词汇箱，并测试局部子序列的Reed-Solomon一致性。

关键创新：RMCW的主要创新在于其局部代数结构的利用，与传统的全局码字恢复方法相比，能够更好地应对删除攻击带来的挑战。

关键设计：在生成过程中，使用密钥分区来注入水印结构；在检测过程中，采用Berlekamp-Welch测试来验证局部子序列的一致性，确保水印的有效性。实验中使用了C4和ELI5数据集进行验证。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，RMCW在C4和ELI5数据集上实现了强大的干净文本可检测性，并在多种删除和重写攻击下的表现优于或匹配现有基线方法，显示出其在鲁棒性方面的显著提升。

🎯 应用场景

该研究的潜在应用领域包括文本生成、内容版权保护和模型输出的可追溯性。通过增强水印的鲁棒性，RMCW可以有效防止生成内容被篡改或伪造，从而提升模型的安全性和可信度。未来，该方法可能在更广泛的自然语言处理任务中得到应用。

📄 摘要（原文）

Large Language Model (LLM) watermarking provides a lightweight mechanism for identifying text generated by a specific model, but its robustness remains fragile under post-processing attacks. Deletion attacks are particularly challenging because they shift token positions and break the alignment between observed tokens and their original watermark positions. We propose Reed--Muller Code Watermarking (RMCW), an LLM watermarking method based on Reed--Muller codes. In contrast to global codeword recovery, RMCW searches for surviving local algebraic structure, leveraging the Reed--Solomon consistency induced by affine-line restrictions of Reed--Muller codewords. During generation, RMCW injects a Reed--Muller structure into the sequence via a secret-keyed vocabulary partition. During detection, it maps the given text to keyed vocabulary bins and tests local subsequences for low-degree Reed--Solomon consistency using Berlekamp--Welch tests. Experiments on C4 and ELI5 datasets with OPT-1.3B and Llama-3.1-8B-Instruct show that RMCW preserves strong clean-text detectability and outperforms or matches the baseline methods under several deletion and rewriting attacks. Our code is available at https://github.com/BaichengDanny/RMCW.