Private Retrieval Augmented Generation via Random Projection

📄 arXiv: 2610.22297v1 📥 PDF

作者: Dixi Yao, Tahseen Rabbani, Tian Li

分类: cs.AI, cs.CR

发布日期: 2026-10-15

💡 一句话要点

提出随机投影方法以解决RAG系统隐私泄露问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 随机投影 检索增强生成 大型语言模型 数据安全

📋 核心要点

  1. 现有的RAG方法在提升模型能力的同时，存在泄露敏感信息的隐私风险。
  2. 本文提出通过随机投影来保护数据存储隐私，确保查询与检索项之间的语义相似性。
  3. 实验结果表明，该方法在多种架构和数据集上表现优越，且在隐私保护方面具有竞争力。

📝 摘要（中文）

检索增强生成（RAG）通过查询外部结构化知识提升了大型语言模型（LLMs）的能力，但也可能导致从检索数据存储中泄露敏感信息。本文提出了一种简单的方法，通过随机投影来保护RAG系统中的数据存储隐私。该方法通过对数据存储嵌入和查询嵌入应用相同的投影，证明了在保持查询与检索项之间语义相似性的同时，显著减轻了数据提取攻击。在多种RAG架构和数据集上，我们展示了这一轻量级方法在检索和生成性能上优于利用正式差分隐私（DP）保证的先前方法，同时在强攻击模型下表现出可比的经验隐私。我们的结果首次表明，随机投影可以作为隐私保护RAG系统的竞争性和实用基线。

🔬 方法详解

问题定义：本文旨在解决RAG系统中由于外部知识检索而导致的敏感信息泄露问题。现有方法在保护隐私方面存在不足，容易受到数据提取攻击的影响。

核心思路：通过随机投影技术，本文提出对数据存储和查询嵌入应用相同的投影，从而在保持语义相似性的同时，降低隐私泄露风险。该设计旨在实现轻量级的隐私保护。

技术框架：整体架构包括数据存储嵌入、查询嵌入和随机投影模块。首先，对数据存储进行嵌入，然后对查询进行相同的随机投影，最后进行相似性计算以检索相关项。

关键创新：本文的主要创新在于首次将随机投影应用于隐私保护的RAG系统，证明其在保护隐私的同时，能够有效提升检索和生成性能。与传统的差分隐私方法相比，随机投影提供了一种更为高效的解决方案。

关键设计：在参数设置上，随机投影的维度和投影矩阵的选择是关键。损失函数设计上，确保语义相似性保持的同时，减少隐私泄露风险。网络结构上，采用了轻量级的嵌入层和投影层，以提高整体效率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，本文方法在多个RAG架构和数据集上均优于传统方法，检索和生成性能提升显著。与利用差分隐私保证的基线相比，本文方法在隐私保护下表现出可比的经验隐私，展示了随机投影的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和信息检索等。通过有效保护用户隐私，增强RAG系统的安全性，未来可在多个行业中推广应用，尤其是在涉及敏感数据的场景中，具有重要的实际价值和影响。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) enhances the capabilities of large language models (LLMs) by querying external structured knowledge. However, it can also introduce privacy risks by leaking sensitive information from the retrieval datastore. We propose a simple method to preserve datastore privacy in RAG systems via random projection. By applying the same projection to both datastore embeddings and query embeddings, our method provably preserves semantic similarity between queries and retrieved items while substantially mitigating data extraction attacks. Across multiple RAG architectures and datasets, we show that this lightweight approach achieves superior retrieval and generation performance compared to prior methods which leverage formal differential privacy (DP) guarantees, while exhibiting comparable empirical privacy under strong attack models. Our results for the first time suggest that random projection can serve as a competitive and practical baseline for privacy-preserving RAG systems.