Has My System Prompt Been Used? Large Language Model Prompt Membership Inference
作者: Roman Levin, Valeriia Cherepanova, Abhimanyu Hans, Avi Schwarzschild, Tom Goldstein
分类: cs.AI, cs.CR
发布日期: 2025-02-14
💡 一句话要点
Prompt Detective：基于输出分布差异的大语言模型提示词成员推断方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 提示词工程 大语言模型 成员推断 隐私保护 统计测试
📋 核心要点
- 现有方法缺乏有效手段来验证第三方LLM是否使用了特定的专有系统提示词，这带来了提示词隐私泄露的风险。
- Prompt Detective通过比较不同系统提示词下LLM输出的分布，利用统计测试来判断目标LLM是否使用了给定的提示词。
- 实验表明，即使是细微的提示词差异也会导致显著的输出分布变化，Prompt Detective能够有效识别提示词的使用情况。
📝 摘要（中文）
提示词工程已成为优化大型语言模型（LLM）以适应特定应用的强大技术，它能够加速原型设计并提高性能，从而激发了社区对保护专有系统提示词的兴趣。本文从成员推断的角度，探索了一种新颖的提示词隐私保护方法。我们开发了Prompt Detective，一种统计方法，可以可靠地确定第三方语言模型是否使用了给定的系统提示词。我们的方法依赖于一个统计测试，该测试比较了对应于不同系统提示词的两组模型输出的分布。通过对各种语言模型进行的大量实验，我们证明了Prompt Detective在提示词成员推断方面的有效性。我们的工作表明，即使系统提示词的微小变化也会在不同的响应分布中体现出来，使我们能够以统计显著性验证提示词的使用情况。
🔬 方法详解
问题定义：论文旨在解决的问题是：如何判断一个给定的系统提示词是否被第三方的大语言模型使用过。现有的方法缺乏有效的手段来检测这种提示词的泄露，使得开发者难以保护其专有的提示词。
核心思路：论文的核心思路是，不同的系统提示词会导致大语言模型产生不同的输出分布。通过统计测试来比较目标模型在未知提示词下的输出分布和已知提示词下的输出分布，从而推断目标模型是否使用了该已知提示词。这种方法的核心在于利用了LLM对提示词的敏感性，即使是细微的提示词差异也会反映在输出分布上。
技术框架：Prompt Detective 的整体框架包含以下几个主要步骤： 1. 数据收集：针对目标模型，分别使用待验证的系统提示词和一组对照提示词生成多组输出。 2. 特征提取：从生成的文本输出中提取特征，例如词频、n-gram 分布、embedding 等。这些特征用于表征输出的分布。 3. 统计测试：使用统计测试方法（例如 Kolmogorov-Smirnov 检验、Wasserstein 距离等）比较待验证提示词和对照提示词对应的输出分布。 4. 成员推断：根据统计测试的结果，判断目标模型是否使用了待验证的系统提示词。如果两个分布差异显著，则认为目标模型使用了该提示词。
关键创新：该论文的关键创新在于将成员推断技术应用于提示词隐私保护领域，提出了一种基于输出分布差异的提示词成员推断方法。与传统方法相比，该方法不需要访问目标模型的内部参数或训练数据，只需要观察模型的输出即可进行推断。此外，该方法能够检测到细微的提示词差异，提高了推断的准确性。
关键设计：论文的关键设计包括： 1. 特征选择：选择合适的特征来表征LLM的输出分布，例如词频、n-gram 分布、embedding 等。不同的特征可能对不同的LLM和提示词有效。 2. 统计测试方法：选择合适的统计测试方法来比较两个分布的差异。不同的统计测试方法对不同的分布差异敏感。 3. 显著性水平：设置合适的显著性水平来控制误判率。显著性水平越高，误判率越低，但同时也可能降低检测的灵敏度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Prompt Detective 能够有效地推断目标模型是否使用了给定的系统提示词。即使是细微的提示词差异，例如添加或删除一个词，也会导致输出分布的显著变化，从而被 Prompt Detective 检测到。在不同的语言模型上，Prompt Detective 都表现出了良好的性能，证明了其通用性和有效性。
🎯 应用场景
该研究成果可应用于保护大语言模型开发者的知识产权，防止他人未经授权使用其专有的系统提示词。此外，该方法还可以用于评估不同提示词对模型输出的影响，帮助开发者优化提示词设计。未来，该技术可能被用于构建提示词隐私保护系统，自动检测和阻止未经授权的提示词使用行为。
📄 摘要（原文）
Prompt engineering has emerged as a powerful technique for optimizing large language models (LLMs) for specific applications, enabling faster prototyping and improved performance, and giving rise to the interest of the community in protecting proprietary system prompts. In this work, we explore a novel perspective on prompt privacy through the lens of membership inference. We develop Prompt Detective, a statistical method to reliably determine whether a given system prompt was used by a third-party language model. Our approach relies on a statistical test comparing the distributions of two groups of model outputs corresponding to different system prompts. Through extensive experiments with a variety of language models, we demonstrate the effectiveness of Prompt Detective for prompt membership inference. Our work reveals that even minor changes in system prompts manifest in distinct response distributions, enabling us to verify prompt usage with statistical significance.