Safeguarding Privacy of Retrieval Data against Membership Inference Attacks: Is This Query Too Close to Home?

📄 arXiv: 2505.22061v3 📥 PDF

作者: Yujin Choi, Youngjoo Park, Junyoung Byun, Jaewook Lee, Jinseong Park

分类: cs.CL

发布日期: 2025-05-28 (更新: 2025-11-24)

备注: Accepted for EMNLP findings 2025

DOI: 10.18653/v1/2025.findings-emnlp.438

💡 一句话要点

提出基于相似度的MIA检测框架，保护RAG系统中检索数据的隐私

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 成员推理攻击 隐私保护 相似度检测 数据安全

📋 核心要点

  1. RAG系统虽然提升了LLM的性能，但直接暴露检索文档给LLM使其易受成员推理攻击。
  2. 论文提出一种基于相似度的MIA检测框架，利用MIA查询与目标文档的相似性进行检测。
  3. 实验表明，该方法能有效检测并防御MIA攻击，同时保持数据效用，且易于集成到现有RAG系统中。

📝 摘要（中文）

检索增强生成(RAG)缓解了大型语言模型(LLM)中的幻觉问题，并已被证明对个性化使用有效。然而，将私有检索文档直接传递给LLM会引入成员推理攻击(MIA)的漏洞，MIA试图确定目标数据点是否存在于私有外部数据库中。基于MIA查询通常仅与一个目标文档表现出高度相似性的洞察，我们提出了一种新颖的基于相似性的MIA检测框架，专为RAG系统设计。通过所提出的方法，我们表明，一个简单的检测和隐藏策略可以成功地混淆攻击者，保持数据效用，并保持对MIA的系统无关性。我们通过实验证明了其对各种最先进的MIA方法的检测和防御能力，以及其对现有RAG系统的适应性。

🔬 方法详解

问题定义：论文旨在解决RAG系统中检索数据的隐私泄露问题。现有的RAG系统容易受到成员推理攻击（MIA），攻击者试图判断某个数据是否被用于RAG系统的检索数据库中。现有方法缺乏有效的MIA检测机制，无法在保证数据效用的前提下防御此类攻击。

核心思路：论文的核心思路是利用MIA攻击的特性，即攻击者构造的查询通常与目标数据库中的某个特定文档具有高度相似性。通过检测查询与数据库文档之间的相似度，可以判断该查询是否为MIA攻击。基于此，设计一种基于相似度的MIA检测框架。

技术框架：该框架主要包含以下几个阶段：1) 查询嵌入：将用户查询嵌入到向量空间中。2) 相似度计算：计算查询嵌入与数据库中每个文档嵌入之间的相似度。3) MIA检测：基于相似度得分，判断查询是否为MIA攻击。如果检测到MIA攻击，则采取防御措施，例如隐藏或修改相关文档。4) RAG流程：正常的RAG流程，使用修改后的检索结果生成回复。

关键创新：该方法的主要创新在于提出了一种基于相似度的MIA检测方法，该方法简单有效，易于集成到现有的RAG系统中。与现有方法相比，该方法不需要训练额外的模型，并且能够保持数据效用。

关键设计：相似度计算可以使用余弦相似度等方法。MIA检测的阈值需要根据具体数据集和攻击场景进行调整。防御策略可以采用多种方式，例如隐藏相关文档、对文档进行模糊处理或生成对抗样本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够有效检测并防御各种最先进的MIA攻击，同时保持数据效用。与现有方法相比，该方法在检测准确率和防御效果方面均有显著提升。此外，该方法易于集成到现有的RAG系统中，具有良好的实用性。

🎯 应用场景

该研究成果可应用于各种需要保护检索数据隐私的RAG系统，例如医疗、金融、法律等领域。通过有效防御MIA攻击，可以确保用户数据的安全性，提升用户对RAG系统的信任度，从而促进RAG技术在敏感领域的应用。未来，该方法可以进一步扩展到其他类型的隐私攻击防御。

📄 摘要（原文）

Retrieval-augmented generation (RAG) mitigates the hallucination problem in large language models (LLMs) and has proven effective for personalized usages. However, delivering private retrieved documents directly to LLMs introduces vulnerability to membership inference attacks (MIAs), which try to determine whether the target data point exists in the private external database or not. Based on the insight that MIA queries typically exhibit high similarity to only one target document, we introduce a novel similarity-based MIA detection framework designed for the RAG system. With the proposed method, we show that a simple detect-and-hide strategy can successfully obfuscate attackers, maintain data utility, and remain system-agnostic against MIA. We experimentally prove its detection and defense against various state-of-the-art MIA methods and its adaptability to existing RAG systems.