SimMark: A Robust Sentence-Level Similarity-Based Watermarking Algorithm for Large Language Models

📄 arXiv: 2502.02787v2 📥 PDF

作者: Amirhossein Dabiriaghdam, Lele Wang

分类: cs.CL, cs.CR, cs.CY, cs.LG

发布日期: 2025-02-05 (更新: 2025-09-11)

备注: Accepted to EMNLP 25 main

💡 一句话要点

SimMark：一种基于句子级语义相似度的鲁棒大语言模型水印算法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 文本水印 语义相似度 拒绝采样 鲁棒性 句子嵌入 软计数

📋 核心要点

  1. 现有LLM文本水印方法在面对释义攻击时鲁棒性不足，难以有效追踪生成文本的来源。
  2. SimMark利用句子嵌入的语义相似性，通过拒绝采样嵌入统计模式，实现对释义攻击的鲁棒水印。
  3. 实验表明，SimMark在鲁棒性、采样效率和跨领域适用性上优于现有句子级水印技术，同时保证文本质量。

📝 摘要（中文）

大规模语言模型（LLMs）的广泛应用需要可靠的方法来检测LLM生成的文本。本文提出了一种鲁棒的句子级水印算法SimMark，该算法使得LLM的输出可追溯，且无需访问模型内部结构，因此兼容开放和基于API的LLM。SimMark利用语义句子嵌入的相似性，结合拒绝采样来嵌入人类难以察觉的可检测统计模式，并采用软计数机制，实现了对释义攻击的鲁棒性。实验结果表明，SimMark为LLM生成内容的鲁棒水印技术树立了新的基准，在鲁棒性、采样效率和跨领域适用性方面超越了先前的句子级水印技术，同时保持了文本质量和流畅性。

🔬 方法详解

问题定义：当前大语言模型生成文本的水印技术，在面对诸如释义等攻击时，水印容易被移除，导致无法有效追踪生成文本的来源。现有的句子级别水印方法在鲁棒性方面存在不足，难以抵抗攻击，并且可能影响文本的质量和流畅性。

核心思路：SimMark的核心思路是利用句子嵌入的语义相似性，通过在语义相似的句子中嵌入可检测的统计模式来实现水印。具体来说，该方法使用拒绝采样来选择要插入水印的句子，确保嵌入的水印不易被察觉，并且能够抵抗释义攻击。通过软计数机制，即使部分水印被修改，仍然可以检测到水印的存在。

技术框架：SimMark算法主要包含以下几个阶段：1) 句子嵌入：使用预训练的句子嵌入模型（如Sentence-BERT）将LLM生成的文本分割成句子，并将每个句子编码成向量表示。2) 水印嵌入：基于句子嵌入的相似性，使用拒绝采样选择要嵌入水印的句子。拒绝采样过程确保选择的句子在语义上相似，从而降低水印对文本质量的影响。3) 水印检测：使用软计数机制来检测文本中是否存在水印。软计数允许一定程度的水印修改，从而提高对释义攻击的鲁棒性。

关键创新：SimMark的关键创新在于其利用句子嵌入的语义相似性进行水印嵌入，并结合拒绝采样和软计数机制。与现有方法相比，SimMark不需要访问模型内部，适用于各种LLM（包括API），并且在鲁棒性方面有显著提升。现有的水印方法通常依赖于修改模型的生成过程或在词级别进行水印嵌入，而SimMark则是在句子级别操作，更具灵活性和鲁棒性。

关键设计：SimMark的关键设计包括：1) 句子嵌入模型的选择：选择合适的句子嵌入模型对于保证水印的不可感知性和鲁棒性至关重要。2) 拒绝采样的阈值设置：需要仔细调整拒绝采样的阈值，以平衡水印的强度和文本质量。3) 软计数机制的参数设置：软计数机制的参数需要根据具体的应用场景进行调整，以达到最佳的检测效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SimMark在鲁棒性方面显著优于现有的句子级水印技术。实验结果表明，SimMark在面对释义攻击时，仍能保持较高的检测准确率，同时对文本质量的影响较小。与基线方法相比，SimMark在多个数据集上都取得了更好的性能，证明了其在实际应用中的有效性。

🎯 应用场景

SimMark可应用于检测和追踪由大型语言模型生成的文本，例如在新闻媒体、学术出版和社交媒体等领域，用于识别和标记AI生成的内容，防止虚假信息的传播和学术不端行为。该技术还有助于保护LLM开发者的知识产权，防止未经授权的使用和复制。

📄 摘要（原文）

The widespread adoption of large language models (LLMs) necessitates reliable methods to detect LLM-generated text. We introduce SimMark, a robust sentence-level watermarking algorithm that makes LLMs' outputs traceable without requiring access to model internals, making it compatible with both open and API-based LLMs. By leveraging the similarity of semantic sentence embeddings combined with rejection sampling to embed detectable statistical patterns imperceptible to humans, and employing a soft counting mechanism, SimMark achieves robustness against paraphrasing attacks. Experimental results demonstrate that SimMark sets a new benchmark for robust watermarking of LLM-generated content, surpassing prior sentence-level watermarking techniques in robustness, sampling efficiency, and applicability across diverse domains, all while maintaining the text quality and fluency.