Evaluating the Robustness of Retrieval-Augmented Generation to Adversarial Evidence in the Health Domain

📄 arXiv: 2509.03787v1 📥 PDF

作者: Shakiba Amirshahi, Amin Bigdeli, Charles L. A. Clarke, Amira Ghenai

分类: cs.IR, cs.CL

发布日期: 2025-09-04

🔗 代码/项目: GITHUB

💡 一句话要点

评估检索增强生成在医疗领域对抗性证据下的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 鲁棒性评估 对抗性证据 医疗领域 大型语言模型

📋 核心要点

  1. 现有RAG系统易受检索到的对抗性证据影响，导致LLM产生错误信息，尤其是在高风险的医疗领域。
  2. 通过系统评估不同类型证据（有益、有害、对抗性）和用户提问方式对RAG系统鲁棒性的影响，揭示其脆弱性。
  3. 实验表明，对抗性证据显著降低RAG系统输出与真实答案的一致性，但混合有益证据可提升鲁棒性。

📝 摘要（中文）

检索增强生成（RAG）系统通过提供检索到的证据（即上下文）作为支持，为大型语言模型（LLM）的响应提供事实依据。在这种上下文的指导下，RAG系统可以减少幻觉，并扩展LLM准确回答其训练数据范围之外问题的能力。然而，这种设计引入了一个关键漏洞：LLM可能会吸收并再现检索到的证据中存在的错误信息。如果检索到的证据包含明确旨在传播错误信息的对抗性材料，这个问题会更加严重。本文对RAG在医疗领域的鲁棒性进行了系统评估，并检查了模型输出与真实答案之间的一致性。我们关注医疗领域，因为不正确的回答可能造成危害，并且许多常见的健康相关问题都有循证的真实答案。我们使用常见的健康问题进行受控实验，改变检索到的文档的类型和组成（有帮助的、有害的和对抗性的），以及用户提问的方式（一致的、中性的和不一致的）。我们的研究结果表明，对抗性文档会显著降低一致性，但当检索池中也存在有帮助的证据时，可以保持鲁棒性。这些发现为在高风险领域设计更安全的RAG系统提供了可操作的见解，强调了检索保障的必要性。为了实现可重复性并促进未来的研究，所有实验结果都可以在我们的github存储库中公开获得。

🔬 方法详解

问题定义：论文旨在解决RAG系统在医疗领域中，面对对抗性检索证据时，产生错误或有害信息的风险。现有RAG系统依赖于检索到的文档来增强LLM的生成能力，但如果检索到的文档包含错误信息或对抗性内容，LLM可能会吸收并传播这些错误信息，从而导致严重的后果，尤其是在医疗领域。

核心思路：论文的核心思路是通过系统地评估不同类型的检索证据（包括有益的、有害的和对抗性的）以及不同的用户提问方式对RAG系统性能的影响，来揭示RAG系统在面对对抗性证据时的脆弱性。通过控制实验，分析RAG系统在不同情况下的输出与真实答案的一致性，从而量化对抗性证据对RAG系统鲁棒性的影响。

技术框架：论文采用实验研究的方法，构建了一个包含健康相关问题、有益文档、有害文档和对抗性文档的数据集。实验流程包括：1) 使用检索模型从数据集中检索相关文档；2) 将检索到的文档作为上下文输入到LLM中；3) LLM根据上下文生成答案；4) 评估生成的答案与真实答案之间的一致性。通过改变检索到的文档类型和用户提问方式，分析RAG系统在不同情况下的性能表现。

关键创新：论文的关键创新在于系统地评估了RAG系统在医疗领域中面对对抗性证据时的鲁棒性。通过控制实验，量化了对抗性证据对RAG系统性能的影响，并揭示了RAG系统在面对对抗性证据时的脆弱性。此外，论文还探讨了混合有益证据对提升RAG系统鲁棒性的作用。

关键设计：论文的关键设计包括：1) 构建包含不同类型文档（有益、有害、对抗性）的医疗领域数据集；2) 设计不同的用户提问方式（一致、中性、不一致），以模拟真实世界中的用户查询；3) 使用一致性指标来评估生成的答案与真实答案之间的相似度；4) 通过统计分析，量化不同因素对RAG系统性能的影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，对抗性文档会显著降低RAG系统输出与真实答案的一致性。当检索到的文档仅包含对抗性证据时，一致性下降幅度最大。然而，当检索池中同时存在有益证据和对抗性证据时，RAG系统的鲁棒性可以得到一定程度的保持。这些发现强调了在高风险领域设计RAG系统时，需要采取有效的检索保障措施。

🎯 应用场景

该研究成果可应用于开发更安全的医疗健康领域的RAG系统，例如辅助医生诊断、提供患者健康咨询等。通过引入检索保障机制，过滤掉有害或对抗性信息，确保LLM生成可靠且准确的答案，从而避免因错误信息导致的潜在危害。研究结果也为其他高风险领域的RAG系统设计提供了参考。

📄 摘要（原文）

Retrieval augmented generation (RAG) systems provide a method for factually grounding the responses of a Large Language Model (LLM) by providing retrieved evidence, or context, as support. Guided by this context, RAG systems can reduce hallucinations and expand the ability of LLMs to accurately answer questions outside the scope of their training data. Unfortunately, this design introduces a critical vulnerability: LLMs may absorb and reproduce misinformation present in retrieved evidence. This problem is magnified if retrieved evidence contains adversarial material explicitly intended to promulgate misinformation. This paper presents a systematic evaluation of RAG robustness in the health domain and examines alignment between model outputs and ground-truth answers. We focus on the health domain due to the potential for harm caused by incorrect responses, as well as the availability of evidence-based ground truth for many common health-related questions. We conduct controlled experiments using common health questions, varying both the type and composition of the retrieved documents (helpful, harmful, and adversarial) as well as the framing of the question by the user (consistent, neutral, and inconsistent). Our findings reveal that adversarial documents substantially degrade alignment, but robustness can be preserved when helpful evidence is also present in the retrieval pool. These findings offer actionable insights for designing safer RAG systems in high-stakes domains by highlighting the need for retrieval safeguards. To enable reproducibility and facilitate future research, all experimental results are publicly available in our github repository. https://github.com/shakibaam/RAG_ROBUSTNESS_EVAL