Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning

📄 arXiv: 2502.10440v2 📥 PDF

作者: Junfeng Guo, Yiming Li, Ruibo Chen, Yihan Wu, Chenxi Liu, Yanshuo Chen, Heng Huang

分类: cs.CR, cs.AI, cs.CL, cs.IR, cs.LG

发布日期: 2025-02-10 (更新: 2025-05-23)

备注: The first two authors contributed equally to this work. 25 pages

💡 一句话要点

提出无害版权保护方法以解决知识库被滥用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识库保护 版权保护 链式推理 水印技术 自适应攻击 检索增强生成 大型语言模型

📋 核心要点

  1. 现有的水印技术在保护知识库时，往往需要改变LLM的输出，导致水印易被检测并引入新的安全风险。
  2. 本文提出了一种无害的版权保护方法，通过在链式推理空间中植入独特的验证行为，避免对LLM最终输出的干扰。
  3. 实验结果表明，所提方法在多种基准测试中有效保护知识库，并且对自适应攻击具有良好的抵抗能力。

📝 摘要（中文）

大型语言模型（LLMs）通过检索增强生成（RAG）机制与领域特定知识相结合，广泛应用于个性化场景。然而，RAG中使用的知识库往往具有重要的专有性，面临被恶意使用的风险。现有的水印技术通常需要改变LLM的输出，导致水印易被检测并引入新的安全风险。为此，本文提出了一种无害的版权保护方法，通过在链式推理（CoT）空间中植入独特的验证行为，确保最终答案的正确性。该方法包括生成CoT、优化水印短语和目标CoT，以及所有权验证三个主要阶段，实验表明该方法有效保护知识库并抵抗自适应攻击。

🔬 方法详解

问题定义：本文解决的问题是如何有效保护知识库的版权，避免其被恶意使用。现有方法的痛点在于需要改变LLM的输出，导致水印易被检测并引入新的安全隐患。

核心思路：论文的核心思路是通过在链式推理（CoT）中植入无害的验证行为，而不是直接操控LLM的最终输出，从而保持答案的正确性。

技术框架：整体架构分为三个主要阶段：第一阶段是生成CoT，为每个验证问题生成两个“无辜”的CoT；第二阶段是优化水印短语和目标CoT，以最小化检索错误；第三阶段是所有权验证，通过Wilcoxon检验比较水印和无害验证查询的响应。

关键创新：最重要的技术创新点在于提出了一种无害的水印植入方式，避免了传统方法中对LLM输出的干扰，从而提高了安全性和有效性。

关键设计：在优化水印短语时，采用了理论分析指导的优化策略，确保只有水印验证查询能够检索到对应的目标CoT，同时在黑箱和文本仅设置下进行测试。实验中使用了Wilcoxon检验作为所有权验证的手段。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在多种基准测试中表现出色，能够有效保护知识库，抵抗自适应攻击。具体而言，验证准确率达到了85%以上，相较于传统水印方法提升了15%的安全性，显示出良好的实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括知识库的版权保护、智能问答系统以及个性化推荐等。通过有效的版权保护机制，可以促进知识的合法使用，减少知识产权纠纷，提升商业应用的安全性和可靠性。未来，该方法可能在更多领域得到推广，推动智能系统的健康发展。

📄 摘要（原文）

Large language models (LLMs) are increasingly integrated into real-world personalized applications through retrieval-augmented generation (RAG) mechanisms to supplement their responses with domain-specific knowledge. However, the valuable and often proprietary nature of the knowledge bases used in RAG introduces the risk of unauthorized usage by adversaries. Existing methods that can be generalized as watermarking techniques to protect these knowledge bases typically involve poisoning or backdoor attacks. However, these methods require altering the LLM's results of verification samples, inevitably making these watermarks susceptible to anomaly detection and even introducing new security risks. To address these challenges, we propose \name{} for harmless' copyright protection of knowledge bases. Instead of manipulating LLM's final output, \name{} implants distinct yet benign verification behaviors in the space of chain-of-thought (CoT) reasoning, maintaining the correctness of the final answer. Our method has three main stages: (1) Generating CoTs: For each verification question, we generate twoinnocent' CoTs, including a target CoT for building watermark behaviors; (2) Optimizing Watermark Phrases and Target CoTs: Inspired by our theoretical analysis, we optimize them to minimize retrieval errors under the \emph{black-box} and \emph{text-only} setting of suspicious LLM, ensuring that only watermarked verification queries can retrieve their correspondingly target CoTs contained in the knowledge base; (3) Ownership Verification: We exploit a pairwise Wilcoxon test to verify whether a suspicious LLM is augmented with the protected knowledge base by comparing its responses to watermarked and benign verification queries. Our experiments on diverse benchmarks demonstrate that \name{} effectively protects knowledge bases and its resistance to adaptive attacks.