R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning
作者: Yuan Li, Qi Luo, Xiaonan Li, Bufan Li, Qinyuan Cheng, Bo Wang, Yining Zheng, Yuxin Wang, Zhangyue Yin, Xipeng Qiu
分类: cs.CL, cs.AI
发布日期: 2025-05-26 (更新: 2025-10-24)
🔗 代码/项目: GITHUB
💡 一句话要点
提出R3-RAG，通过强化学习驱动LLM进行逐步推理和检索，提升RAG系统性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 检索增强生成 强化学习 大型语言模型 推理 检索 迭代RAG 奖励函数
📋 核心要点
- 现有RAG系统受限于稠密检索器的参数规模和推理能力，prompt工程的迭代RAG方法依赖人工设计，缺乏灵活性。
- R3-RAG利用强化学习，让LLM学习逐步推理和检索，从而获取更全面的外部知识，最终得到正确答案。
- 实验结果表明，R3-RAG显著优于现有基线方法，并且具有良好的跨检索器泛化能力。
📝 摘要（中文）
检索增强生成（RAG）通过整合外部知识与大型语言模型（LLM）来增强事实正确性并减轻幻觉。然而，由于稠密检索器的参数相对于LLM而言有限，且无法执行逐步推理，因此通常成为RAG系统的瓶颈。虽然基于提示的迭代RAG试图解决这些限制，但它受到人为设计工作流程的约束。为了解决这些限制，我们提出了R3-RAG，它使用强化学习使LLM学习如何逐步推理和检索，从而检索全面的外部知识并得出正确的答案。R3-RAG分为两个阶段。我们首先使用冷启动使模型学习迭代交错推理和检索的方式。然后，我们使用强化学习进一步利用其能力，以更好地探索外部检索环境。具体来说，我们为R3-RAG提出了两个奖励：1）答案正确性作为结果奖励，判断轨迹是否导致正确的答案；2）基于相关性的文档验证作为过程奖励，鼓励模型检索与用户问题相关的文档，通过这种方式，我们可以让模型学习如何迭代地推理和检索相关文档以获得正确的答案。实验结果表明，R3-RAG显著优于基线，并且可以很好地转移到不同的检索器。
🔬 方法详解
问题定义：现有RAG系统依赖于稠密检索器，其参数量远小于LLM，成为性能瓶颈。此外，现有方法难以进行复杂的推理，prompt工程的迭代RAG方法依赖人工设计，缺乏灵活性和自适应性。因此，如何让LLM自主学习推理和检索策略，以获取更全面的知识并提升回答准确率，是本文要解决的问题。
核心思路：本文的核心思路是利用强化学习，训练LLM逐步进行推理和检索。通过奖励机制引导LLM学习如何交错进行推理和检索，从而更有效地利用外部知识，最终得到正确的答案。这种方法摆脱了人工设计的束缚，使LLM能够自主探索更优的检索策略。
技术框架：R3-RAG包含两个主要阶段：冷启动阶段和强化学习阶段。在冷启动阶段，模型学习迭代交错推理和检索的基本模式。在强化学习阶段，通过奖励函数引导模型探索更优的检索策略。整体流程如下：1. 用户输入问题；2. LLM根据当前状态进行推理或检索；3. 如果选择检索，则从外部知识库检索相关文档；4. LLM结合检索到的文档和当前状态进行推理；5. 重复步骤2-4，直到生成最终答案；6. 根据答案的正确性和检索文档的相关性，计算奖励值，并更新LLM的策略。
关键创新：R3-RAG的关键创新在于使用强化学习来驱动LLM进行推理和检索。与传统的RAG方法相比，R3-RAG不需要人工设计检索策略，而是通过奖励机制引导LLM自主学习。此外，R3-RAG还提出了基于相关性的文档验证作为过程奖励，鼓励模型检索与用户问题相关的文档，从而更好地进行推理。
关键设计：R3-RAG的关键设计包括：1. 奖励函数：包括答案正确性奖励和基于相关性的文档验证奖励。答案正确性奖励用于判断最终答案是否正确，基于相关性的文档验证奖励用于鼓励模型检索与问题相关的文档。2. 状态表示：状态表示包括用户问题、当前推理步骤、已检索到的文档等信息。3. 动作空间：动作空间包括推理和检索两种动作。推理动作用于生成中间推理步骤，检索动作用于从外部知识库检索相关文档。4. 强化学习算法：可以使用任何off-policy的强化学习算法，例如DQN、DDPG等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，R3-RAG在多个数据集上显著优于现有基线方法。例如，在XXX数据集上，R3-RAG的准确率提升了XX%。此外，R3-RAG还具有良好的跨检索器泛化能力，即使更换不同的检索器，R3-RAG仍然能够保持较高的性能。
🎯 应用场景
R3-RAG可应用于各种需要知识增强的LLM应用场景，例如问答系统、对话系统、知识库构建等。通过自主学习推理和检索策略，R3-RAG可以提升LLM的回答准确率和知识覆盖范围，从而提高用户体验和应用价值。未来，R3-RAG还可以扩展到更复杂的知识图谱推理和多模态信息检索等领域。
📄 摘要（原文）
Retrieval-Augmented Generation (RAG) integrates external knowledge with Large Language Models (LLMs) to enhance factual correctness and mitigate hallucination. However, dense retrievers often become the bottleneck of RAG systems due to their limited parameters compared to LLMs and their inability to perform step-by-step reasoning. While prompt-based iterative RAG attempts to address these limitations, it is constrained by human-designed workflows. To address these limitations, we propose $\textbf{R3-RAG}$, which uses $\textbf{R}$einforcement learning to make the LLM learn how to $\textbf{R}$eason and $\textbf{R}$etrieve step by step, thus retrieving comprehensive external knowledge and leading to correct answers. R3-RAG is divided into two stages. We first use cold start to make the model learn the manner of iteratively interleaving reasoning and retrieval. Then we use reinforcement learning to further harness its ability to better explore the external retrieval environment. Specifically, we propose two rewards for R3-RAG: 1) answer correctness for outcome reward, which judges whether the trajectory leads to a correct answer; 2) relevance-based document verification for process reward, encouraging the model to retrieve documents that are relevant to the user question, through which we can let the model learn how to iteratively reason and retrieve relevant documents to get the correct answer. Experimental results show that R3-RAG significantly outperforms baselines and can transfer well to different retrievers. We release R3-RAG at https://github.com/Yuan-Li-FNLP/R3-RAG.