WaterSeeker: Pioneering Efficient Detection of Watermarked Segments in Large Documents

📄 arXiv: 2409.05112v6 📥 PDF

作者: Leyi Pan, Aiwei Liu, Yijian Lu, Zitian Gao, Yichen Di, Shiyu Huang, Lijie Wen, Irwin King, Philip S. Yu

分类: cs.CL

发布日期: 2024-09-08 (更新: 2025-02-24)

备注: NAACL 2025 Findings; AAAI PDLM Workshop (Oral)

🔗 代码/项目: GITHUB

💡 一句话要点

WaterSeeker：高效检测大型文档中水印文本片段，提升AI生成内容溯源能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水印检测 大型文档 异常检测 LLM生成内容 可解释AI

📋 核心要点

  1. 现有水印检测方法难以兼顾效率与准确性，尤其是在大型文档中定位小段LLM生成的水印文本时。
  2. WaterSeeker通过异常提取初步定位可疑区域，再局部遍历和全文检测，实现水印片段的精准高效检测。
  3. 实验表明，WaterSeeker在检测精度和计算效率上取得了更好的平衡，并具备定位水印文本的能力。

📝 摘要（中文）

针对大型语言模型（LLMs）生成文本的水印算法在检测LLM生成内容方面已达到较高准确率。然而，现有方法主要侧重于区分完全水印文本与非水印文本，忽略了实际应用中LLMs仅在大型文档中生成小部分内容的情况。在这种情况下，平衡时间复杂度和检测性能构成重大挑战。本文提出了WaterSeeker，一种高效检测和定位大量自然文本中水印片段的新方法。它首先应用高效的异常提取方法初步定位可疑的水印区域，然后进行局部遍历并执行全文检测以进行更精确的验证。理论分析和实验结果表明，WaterSeeker在检测准确性和计算效率之间实现了卓越的平衡。此外，其定位能力为构建可解释的AI检测系统奠定了基础。

🔬 方法详解

问题定义：现有的大语言模型水印检测方法主要针对整段文本都是由LLM生成的情况，但在实际应用中，LLM通常只生成文档中的一小部分。因此，如何在大型文档中快速准确地定位这些被水印的片段成为了一个挑战。现有的方法要么效率低下，需要对整个文档进行扫描，要么准确率不高，无法有效区分水印文本和自然文本。

核心思路：WaterSeeker的核心思路是分阶段检测，首先通过高效的异常提取方法快速定位可能存在水印的区域，然后对这些区域进行更精细的检测。这种方法避免了对整个文档进行高代价的检测，从而提高了效率。同时，通过局部遍历和全文检测，提高了检测的准确性。

技术框架：WaterSeeker主要包含两个阶段：异常提取阶段和局部遍历与全文检测阶段。在异常提取阶段，使用一种高效的算法来识别文档中与自然文本统计特征存在显著差异的区域，这些区域被认为是潜在的水印文本。在局部遍历与全文检测阶段，对提取出的可疑区域进行更详细的分析，例如计算水印得分，并与预设的阈值进行比较，以确定是否真的存在水印。如果可疑区域较大，还会进行局部遍历，进一步缩小水印片段的范围。

关键创新：WaterSeeker的关键创新在于其分阶段检测的策略，以及高效的异常提取方法。与传统的全文扫描方法相比，WaterSeeker能够显著减少需要处理的文本量，从而提高检测效率。此外，WaterSeeker还具备定位水印片段的能力，这为后续的溯源和分析提供了便利。

关键设计：WaterSeeker的具体实现细节取决于所使用的异常提取算法和水印检测方法。例如，异常提取可以基于文本的统计特征，如词频、句法结构等。水印检测可以使用现有的水印算法，如基于token选择的水印算法。关键参数包括异常提取的阈值、水印得分的阈值等。这些参数需要根据具体的应用场景进行调整，以达到最佳的检测效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WaterSeeker在实验中展现了卓越的性能，能够在保持较高检测准确率的同时，显著降低计算成本。相较于传统的全文检测方法，WaterSeeker能够将检测时间缩短数倍，同时保持与现有水印检测方法相当甚至更高的准确率。具体的性能提升幅度取决于文档大小和水印片段的比例。

🎯 应用场景

WaterSeeker可应用于检测和定位大型文档中由LLM生成的内容，例如学术论文、新闻报道、法律文件等。这有助于识别虚假信息、保护知识产权、防止学术不端行为，并提高AI生成内容的可追溯性。该技术还有助于构建更透明、可信赖的AI生态系统。

📄 摘要（原文）

Watermarking algorithms for large language models (LLMs) have attained high accuracy in detecting LLM-generated text. However, existing methods primarily focus on distinguishing fully watermarked text from non-watermarked text, overlooking real-world scenarios where LLMs generate only small sections within large documents. In this scenario, balancing time complexity and detection performance poses significant challenges. This paper presents WaterSeeker, a novel approach to efficiently detect and locate watermarked segments amid extensive natural text. It first applies an efficient anomaly extraction method to preliminarily locate suspicious watermarked regions. Following this, it conducts a local traversal and performs full-text detection for more precise verification. Theoretical analysis and experimental results demonstrate that WaterSeeker achieves a superior balance between detection accuracy and computational efficiency. Moreover, its localization capability lays the foundation for building interpretable AI detection systems. Our code is available at https://github.com/THU-BPM/WaterSeeker.