ConfusionPrompt: Practical Private Inference for Online Large Language Models

📄 arXiv: 2401.00870v4 📥 PDF

作者: Peihua Mai, Youjia Yang, Ran Yan, Rui Ye, Yan Pang

分类: cs.CR, cs.AI

发布日期: 2023-12-30 (更新: 2024-11-06)

备注: 33 pages

💡 一句话要点

ConfusionPrompt：一种实用的在线大语言模型隐私推理框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 大语言模型 在线推理 Prompt分解 伪Prompt 隐私-效用权衡 黑盒模型 数据安全

📋 核心要点

  1. 现有在线LLM服务需要用户向云服务器发送详细prompt，引发了严重的隐私问题。
  2. ConfusionPrompt将prompt分解为子prompt，并生成伪prompt混淆服务器，从而保护用户隐私。
  3. 实验表明，ConfusionPrompt在隐私保护的同时，显著提升了效用，并降低了内存消耗。

📝 摘要（中文）

本文提出ConfusionPrompt，一种新颖的私有LLM推理框架，旨在保护用户隐私。该框架通过以下方式实现隐私保护：(i) 将原始prompt分解为更小的子prompt；(ii) 生成伪prompt与真实的子prompt一起发送给LLM。服务器的响应随后由用户重组，以重建最终输出。相比之前的LLM隐私保护方法，该方法具有关键优势：(i) 能够无缝集成到现有的黑盒LLM中；(ii) 相比现有的文本扰动方法，能够显著改善隐私-效用之间的权衡。此外，本文还开发了一个$(λ, μ, ρ)$-隐私模型，用于形式化隐私保护prompt组的要求，并提供复杂度分析以证明prompt分解的作用。实验评估表明，ConfusionPrompt比使用开源模型的本地推理方法和基于扰动的技术实现了更高的效用，同时降低了与开源LLM相比的内存消耗。

🔬 方法详解

问题定义：论文旨在解决在线大语言模型（LLM）推理过程中用户prompt的隐私泄露问题。现有方法，如本地推理和文本扰动，要么效用较低，要么无法很好地保护隐私。用户直接将prompt发送给云端LLM服务存在隐私风险，因为服务提供商可以访问用户的prompt内容。

核心思路：ConfusionPrompt的核心思路是将原始prompt分解为多个子prompt，并生成一些伪prompt，将这些真假prompt混合后发送给云端LLM。由于服务器无法区分哪些是真实的子prompt，哪些是伪prompt，因此无法推断出用户的原始prompt内容，从而保护了用户隐私。用户在收到服务器的响应后，可以根据一定的规则将响应重组，得到最终的推理结果。

技术框架：ConfusionPrompt的整体框架包括以下几个主要阶段：1) Prompt分解：将原始prompt分解为多个子prompt。2) 伪prompt生成：生成与真实子prompt相似的伪prompt。3) Prompt混合：将真实子prompt和伪prompt混合在一起。4) 发送给LLM：将混合后的prompt发送给云端LLM服务。5) 响应重组：用户接收到LLM的响应后，根据一定的规则将响应重组，得到最终的推理结果。

关键创新：ConfusionPrompt的关键创新在于其prompt分解和伪prompt生成机制。通过将原始prompt分解为多个子prompt，降低了单个prompt泄露原始prompt信息的风险。同时，通过生成与真实子prompt相似的伪prompt，进一步混淆了服务器，使其难以区分真实prompt和伪prompt。这种方法在保护隐私的同时，尽可能地保留了原始prompt的信息，从而保证了推理的效用。

关键设计：论文提出了一个$(λ, μ, ρ)$-隐私模型来形式化隐私保护prompt组的要求。λ表示真实prompt泄露的概率，μ表示伪prompt泄露的概率，ρ表示整个prompt组泄露的概率。论文还对prompt分解的复杂度进行了分析，证明了prompt分解在隐私保护中的作用。具体的技术细节，如prompt分解的策略、伪prompt的生成方法以及响应重组的规则，可能根据具体的应用场景进行调整。

📊 实验亮点

实验结果表明，ConfusionPrompt在保护用户隐私的同时，能够显著提高推理的效用。相比于本地推理方法和基于扰动的技术，ConfusionPrompt实现了更高的准确率和更低的延迟。此外，ConfusionPrompt还降低了内存消耗，使其更适合在资源受限的设备上运行。具体的性能提升数据未知，但摘要强调了其显著优于现有方法。

🎯 应用场景

ConfusionPrompt可应用于各种需要使用在线LLM服务，但又对隐私有较高要求的场景，例如医疗诊断、金融分析、法律咨询等。通过使用ConfusionPrompt，用户可以在享受LLM强大功能的同时，保护自己的隐私数据，避免敏感信息泄露。该技术还有助于推动LLM在更多隐私敏感领域的应用。

📄 摘要（原文）

State-of-the-art large language models (LLMs) are typically deployed as online services, requiring users to transmit detailed prompts to cloud servers. This raises significant privacy concerns. In response, we introduce ConfusionPrompt, a novel framework for private LLM inference that protects user privacy by: (i) decomposing the original prompt into smaller sub-prompts, and (ii) generating pseudo-prompts alongside the genuine sub-prompts, which are then sent to the LLM. The server responses are later recomposed by the user to reconstruct the final output. This approach offers key advantages over previous LLM privacy protection methods: (i) it integrates seamlessly with existing black-box LLMs, and (ii) it delivers a significantly improved privacy-utility trade-off compared to existing text perturbation methods. We also develop a $(λ, μ, ρ)$-privacy model to formulate the requirements for a privacy-preserving group of prompts and provide a complexity analysis to justify the role of prompt decomposition. Our empirical evaluation shows that ConfusionPrompt achieves significantly higher utility than local inference methods using open-source models and perturbation-based techniques, while also reducing memory consumption compared to open-source LLMs.