Split-and-Denoise: Protect large language model inference with local differential privacy

📄 arXiv: 2310.09130v4 📥 PDF

作者: Peihua Mai, Ran Yan, Zhe Huang, Youjia Yang, Yan Pang

分类: cs.AI, cs.CR

发布日期: 2023-10-13 (更新: 2024-08-27)

备注: Proceedings of the 41st International Conference on Machine Learning, 22 pages

💡 一句话要点

提出Split-N-Denoise框架以解决大语言模型推理隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 大语言模型 本地差分隐私 嵌入服务 噪声引入 模型推理 数据安全

📋 核心要点

  1. 现有方法在直接文本传输过程中存在隐私泄露的风险，难以有效保护用户数据。
  2. 本文提出的SnD框架通过在客户端执行嵌入层并引入噪声，降低了隐私泄露的风险，同时保持计算成本低。
  3. 实验结果显示，SnD在相同隐私预算下，性能平均提升超过10%，有效优化了隐私与效用的平衡。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言理解方面表现出色，但直接将文本传输到服务器存在隐私泄露的风险。为了解决这一问题，本文提出了Split-N-Denoise（SnD）框架，该框架在客户端执行令牌嵌入层，并在传输嵌入之前引入噪声，从而保护用户隐私。SnD无需修改模型参数，经过广泛实验验证，其在不同LLM架构和下游任务中优化了隐私与效用的权衡，平均提升超过10%的性能，提供了一种有效的本地隐私保护解决方案。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理过程中由于直接文本传输导致的隐私泄露问题。现有方法未能有效保护用户数据，存在较大隐私风险。

核心思路：SnD框架的核心思想是将模型分割，使得令牌嵌入层在客户端执行，用户可以在传输嵌入之前引入噪声，从而保护隐私。此设计旨在在不修改模型参数的情况下，降低隐私泄露的风险。

技术框架：SnD框架主要包括三个模块：客户端嵌入层、噪声引入机制和服务器端去噪模块。客户端负责执行嵌入并添加噪声，服务器接收并去噪后返回结果。

关键创新：SnD的主要创新在于其在推理阶段的隐私保护机制，通过在客户端处理嵌入并引入噪声，显著降低了隐私泄露风险，与传统方法相比具有本质区别。

关键设计：在参数设置上，SnD允许用户自定义噪声强度，以适应不同的隐私需求。损失函数设计上，确保去噪后的输出嵌入能够有效用于下游任务，保持性能稳定。整体网络结构保持原有LLM架构不变，简化了实现难度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SnD框架在多个LLM架构和下游任务中，平均性能提升超过10%，在相同隐私预算下显著优于基线方法。这一成果展示了SnD在隐私保护与模型效用之间的有效平衡。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和社交媒体等需要保护用户隐私的场景。通过实现本地隐私保护，用户可以在享受大型语言模型服务的同时，确保其数据安全。未来，该框架有望推动隐私保护技术在更多实际应用中的落地。

📄 摘要（原文）

Large Language Models (LLMs) excel in natural language understanding by capturing hidden semantics in vector space. This process enriches the value of text embeddings for various downstream tasks, thereby fostering the Embedding-as-a-Service (EaaS) business model. However, the risk of privacy leakage due to direct text transmission to servers remains a critical concern. To address this, we introduce Split-N-Denoise (SnD), an private inference framework that splits the model to execute the token embedding layer on the client side at minimal computational cost. This allows the client to introduce noise prior to transmitting the embeddings to the server, and subsequently receive and denoise the perturbed output embeddings for downstream tasks. Our approach is designed for the inference stage of LLMs and requires no modifications to the model parameters. Extensive experiments demonstrate SnD's effectiveness in optimizing the privacy-utility tradeoff across various LLM architectures and diverse downstream tasks. The results reveal an improvement in performance under the same privacy budget compared to the baselines by over 10\% on average, offering clients a privacy-preserving solution for local privacy protection.