RAG LLMs are Not Safer: A Safety Analysis of Retrieval-Augmented Generation for Large Language Models

📄 arXiv: 2504.18041v1 📥 PDF

作者: Bang An, Shiyue Zhang, Mark Dredze

分类: cs.CL, cs.AI

发布日期: 2025-04-25

备注: NAACL 2025

💡 一句话要点

RAG大语言模型并非更安全：检索增强生成框架的安全分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 AI安全 红队测试 提示注入 对抗性攻击 知识库安全

📋 核心要点

  1. 现有AI安全研究主要关注标准LLM，忽略了RAG框架对模型安全性的影响，导致对RAG LLM的安全风险认识不足。
  2. 该研究通过对比RAG和非RAG框架下LLM的安全表现，揭示了RAG可能降低模型安全性的问题，并探究了其潜在原因。
  3. 实验结果表明，即使使用安全的模型和文档，RAG也可能导致不安全的生成，且现有红队测试方法在RAG场景下效果不佳。

📝 摘要（中文）

为了确保大型语言模型（LLMs）的安全性，人们进行了安全微调、评估和红队测试等工作。然而，尽管检索增强生成（RAG）框架被广泛使用，但AI安全工作主要集中在标准LLM上，这意味着我们对RAG用例如何改变模型的安全特性知之甚少。本文对RAG和非RAG框架下的十一个LLM进行了详细的对比分析。研究发现，RAG可能会降低模型的安全性并改变其安全特性。我们探讨了这种变化的原因，发现即使是安全模型与安全文档的组合也可能导致不安全的生成结果。此外，我们评估了一些现有的RAG设置下的红队测试方法，并表明它们不如用于非RAG设置时有效。我们的工作强调了针对RAG LLM进行专门的安全研究和红队测试方法的必要性。

🔬 方法详解

问题定义：论文旨在研究检索增强生成（RAG）框架对大型语言模型（LLM）安全性的影响。现有研究主要关注标准LLM的安全问题，忽略了RAG框架引入的潜在安全风险。RAG通过检索外部知识来增强LLM的生成能力，但同时也可能引入恶意或不安全的内容，从而降低模型的整体安全性。现有红队测试方法在RAG场景下的有效性也未得到充分评估。

核心思路：论文的核心思路是通过对比RAG和非RAG框架下LLM的安全表现，量化RAG对模型安全性的影响。通过设计特定的攻击场景和评估指标，分析RAG引入的潜在安全风险，并评估现有红队测试方法在RAG场景下的有效性。研究旨在揭示RAG框架的安全漏洞，并为开发更安全的RAG系统提供指导。

技术框架：该研究的技术框架主要包括以下几个模块：1) 构建RAG和非RAG两种框架；2) 选择多个LLM进行测试；3) 设计多种攻击场景，例如提示注入、对抗性文档等；4) 使用自动化评估指标和人工评估相结合的方式，评估模型的安全性；5) 分析RAG对模型安全性的影响，并探讨其潜在原因；6) 评估现有红队测试方法在RAG场景下的有效性。

关键创新：该研究的关键创新在于首次系统性地分析了RAG框架对LLM安全性的影响。以往的研究主要关注标准LLM的安全问题，而忽略了RAG框架引入的潜在安全风险。该研究通过对比实验，揭示了RAG可能降低模型安全性的问题，并探讨了其潜在原因。此外，该研究还评估了现有红队测试方法在RAG场景下的有效性，为开发更安全的RAG系统提供了新的思路。

关键设计：研究中关键的设计包括：1) 选择了多个具有代表性的LLM进行测试，以保证结果的泛化性；2) 设计了多种攻击场景，例如提示注入、对抗性文档等，以全面评估模型的安全性；3) 使用自动化评估指标和人工评估相结合的方式，以提高评估的准确性；4) 对RAG引入的潜在安全风险进行了深入分析，例如知识源的可靠性、检索策略的安全性等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究表明，RAG框架可能降低LLM的安全性，即使是安全的模型和文档组合也可能导致不安全的生成结果。此外，现有的红队测试方法在RAG场景下的效果不如在非RAG场景下有效。这些发现强调了针对RAG LLM进行专门的安全研究和红队测试方法的必要性。

🎯 应用场景

该研究成果可应用于提升RAG系统的安全性，例如在知识库构建、检索策略设计、模型微调等方面采取更严格的安全措施。此外，该研究也为开发针对RAG系统的红队测试方法提供了指导，有助于及时发现和修复安全漏洞。该研究对于构建安全可靠的AI应用具有重要的实际价值和未来影响。

📄 摘要（原文）

Efforts to ensure the safety of large language models (LLMs) include safety fine-tuning, evaluation, and red teaming. However, despite the widespread use of the Retrieval-Augmented Generation (RAG) framework, AI safety work focuses on standard LLMs, which means we know little about how RAG use cases change a model's safety profile. We conduct a detailed comparative analysis of RAG and non-RAG frameworks with eleven LLMs. We find that RAG can make models less safe and change their safety profile. We explore the causes of this change and find that even combinations of safe models with safe documents can cause unsafe generations. In addition, we evaluate some existing red teaming methods for RAG settings and show that they are less effective than when used for non-RAG settings. Our work highlights the need for safety research and red-teaming methods specifically tailored for RAG LLMs.