Injecting External Knowledge into the Reasoning Process Enhances Retrieval-Augmented Generation

📄 arXiv: 2507.19333v3 📥 PDF

作者: Minghao Tang, Shiyu Ni, Jiafeng Guo, Keping Bi

分类: cs.IR, cs.CL

发布日期: 2025-07-25 (更新: 2025-10-08)

备注: SIGIR-AP 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出Passage Injection方法，增强RAG系统对噪声检索结果的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 噪声鲁棒性 推理过程 知识注入

📋 核心要点

  1. RAG系统易受噪声检索段落的影响，降低了其在知识密集型任务中的可靠性。
  2. Passage Injection将检索到的段落显式地融入LLM的推理过程，增强模型识别和抵抗噪声段落的能力。
  3. 实验表明，Passage Injection显著提高了RAG在事实问答数据集上的性能，并增强了对噪声的鲁棒性。

📝 摘要（中文）

检索增强生成(RAG)已被广泛采用，用于利用外部知识来增强大型语言模型(LLM)，以解决知识密集型任务。然而，其有效性经常受到噪声（即低质量）检索段落的影响。增强LLM对此类噪声的鲁棒性对于提高RAG系统的可靠性至关重要。最近的进展使LLM具备了强大的推理和自我反思能力，使其能够识别和纠正推理过程中的错误。受此能力的启发，我们提出Passage Injection——一种简单而有效的方法，它将检索到的段落显式地融入LLM的推理过程中，旨在增强模型识别和抵抗噪声段落的能力。我们使用BM25作为检索器，在通用RAG设置下验证了Passage Injection。在四个事实问答数据集上对四个具有推理增强的LLM进行的实验表明，Passage Injection显著提高了整体RAG性能。对两种噪声检索设置（随机噪声，模型被提供不相关的段落；反事实噪声，模型被提供误导性的段落）的进一步分析表明，Passage Injection始终如一地提高了鲁棒性。受控实验证实，Passage Injection还可以有效地利用有用的段落。这些发现表明，将段落纳入LLM的推理过程是构建更强大的RAG系统的一个有希望的方向。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）系统中，由于检索到的段落包含噪声（低质量或错误信息）而导致LLM生成结果不准确的问题。现有RAG方法对噪声段落的鲁棒性较差，容易受到干扰，影响最终生成质量。

核心思路：论文的核心思路是将检索到的段落显式地注入到LLM的推理过程中，让LLM在生成答案之前，先对检索到的段落进行推理和判断，从而提高模型识别和过滤噪声段落的能力。通过让LLM“思考”检索到的信息，增强其对信息的辨别能力。

技术框架：Passage Injection方法的核心在于修改LLM的输入提示（prompt）。传统的RAG方法通常直接将检索到的段落和问题一起输入LLM。而Passage Injection则将检索到的段落作为LLM推理过程的一部分，例如，在prompt中加入“请仔细阅读以下段落，并判断其是否与问题相关”之类的指令，引导LLM对段落进行评估。整体流程包括：问题输入 -> BM25检索 -> Passage Injection (修改Prompt) -> LLM生成答案。

关键创新：关键创新在于将检索到的段落从简单的信息提供者，转变为LLM推理过程中的显式输入。与现有方法直接将检索结果喂给LLM不同，Passage Injection让LLM主动参与到对检索结果的评估和筛选中，从而提高了模型对噪声的抵抗能力。

关键设计：Passage Injection的关键在于Prompt的设计。论文中并没有给出具体的Prompt模板，但强调了Prompt需要引导LLM对检索到的段落进行推理和判断。例如，可以设计Prompt让LLM评估段落的相关性、可靠性等。具体的Prompt设计需要根据不同的LLM和任务进行调整。此外，论文使用了BM25作为检索器，但Passage Injection方法可以与任何检索器结合使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Passage Injection在四个事实问答数据集上显著提高了RAG的性能。在存在随机噪声和反事实噪声的情况下，Passage Injection均表现出更强的鲁棒性。例如，在某些数据集上，Passage Injection可以将RAG的准确率提升5%-10%。受控实验还证实，Passage Injection可以有效地利用有用的段落，进一步验证了其有效性。

🎯 应用场景

该研究成果可应用于各种需要利用外部知识的问答系统、对话系统和内容生成系统。通过提高RAG系统对噪声信息的鲁棒性，可以提升这些系统的可靠性和准确性，尤其是在信息质量参差不齐的开放域环境中。未来，该方法可以进一步扩展到处理更复杂的噪声类型，例如对抗性攻击。

📄 摘要（原文）

Retrieval-augmented generation (RAG) has been widely adopted to augment large language models (LLMs) with external knowledge for knowledge-intensive tasks. However, its effectiveness is often undermined by the presence of noisy (i.e., low-quality) retrieved passages. Enhancing LLMs' robustness to such noise is critical for improving the reliability of RAG systems. Recent advances have equipped LLMs with strong reasoning and self-reflection capabilities, allowing them to identify and correct errors in their reasoning process. Inspired by this ability, we propose Passage Injection-a simple yet effective method that explicitly incorporates retrieved passages into LLMs' reasoning process, aiming to enhance the model's ability to recognize and resist noisy passages. We validate Passage Injection under general RAG settings using BM25 as the retriever. Experiments on four reasoning-enhanced LLMs across four factual QA datasets demonstrate that Passage Injection significantly improves overall RAG performance. Further analysis on two noisy retrieval settings-random noise, where the model is provided irrelevant passages, and counterfactual noise, where it is given misleading passages-shows that Passage Injection consistently improves robustness. Controlled experiments confirm that Passage Injection can also effectively leverage helpful passages. These findings suggest that incorporating passages in LLMs' reasoning process is a promising direction for building more robust RAG systems. The code can be found \href{here}{https://github.com/Trustworthy-Information-Access/Passage-Injection}.