Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs

📄 arXiv: 2507.09477v2 📥 PDF

作者: Yangning Li, Weizhi Zhang, Yuyao Yang, Wei-Chieh Huang, Yaozu Wu, Junyu Luo, Yuanchen Bei, Henry Peng Zou, Xiao Luo, Yusheng Zhao, Chunkit Chan, Yankai Chen, Zhongfen Deng, Yinghui Li, Hai-Tao Zheng, Dongyuan Li, Renhe Jiang, Ming Zhang, Yangqiu Song, Philip S. Yu

分类: cs.CL, cs.AI

发布日期: 2025-07-13 (更新: 2025-07-16)

备注: submitted to ARR May

🔗 代码/项目: GITHUB

💡 一句话要点

综述Agentic RAG：深度推理增强LLM的检索增强生成系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 推理 知识密集型任务 Agentic LLM RAG-推理 多步推理

📋 核心要点

  1. 现有RAG方法在多步推理问题上存在不足，纯推理方法则容易产生幻觉，缺乏事实依据。
  2. 论文从推理-检索的统一视角出发，分析了推理如何增强RAG，以及RAG如何增强推理。
  3. 综述重点关注协同的RAG-推理框架，其中Agentic LLM通过交错搜索和推理，在知识密集型任务上取得SOTA性能。

📝 摘要（中文）

检索增强生成（RAG）通过注入外部知识来提升大型语言模型（LLM）的事实性，但它在需要多步推理的问题上表现不足；相反，纯粹面向推理的方法通常会产生幻觉或错误的事实基础。本综述在统一的推理-检索视角下综合了这两个方向。我们首先映射了高级推理如何优化RAG的每个阶段（推理增强RAG）。然后，我们展示了不同类型的检索知识如何为复杂推理提供缺失的前提和扩展上下文（RAG增强推理）。最后，我们重点介绍了新兴的协同RAG-推理框架，其中（agentic）LLM迭代地交错搜索和推理，以在知识密集型基准测试中实现最先进的性能。我们对方法、数据集和开放挑战进行了分类，并概述了迈向更有效、多模态自适应、值得信赖和以人为本的更深层次的RAG-推理系统的研究途径。该集合可在https://github.com/DavidZWZ/Awesome-RAG-Reasoning上找到。

🔬 方法详解

问题定义：现有RAG方法在处理需要多步推理的复杂问题时，往往无法有效利用检索到的知识进行深度推理，导致生成结果不准确或缺乏逻辑性。而纯粹依赖LLM自身推理能力的方法，又容易出现幻觉，生成与事实不符的内容。因此，如何将检索和推理有效结合，构建更强大的RAG系统，是当前面临的关键问题。

核心思路：论文的核心思路是将检索和推理过程进行深度融合，通过推理来指导检索，并利用检索到的知识来增强推理。具体而言，论文探讨了如何利用高级推理来优化RAG的各个阶段，以及如何利用不同类型的检索知识来为复杂推理提供缺失的前提和扩展上下文。最终目标是构建一个协同的RAG-推理框架，使LLM能够迭代地交错搜索和推理，从而在知识密集型任务上取得更好的性能。

技术框架：论文将RAG-推理系统分为三个主要类别：推理增强RAG、RAG增强推理和协同RAG-推理。推理增强RAG侧重于利用推理来优化RAG的各个阶段，例如查询改写、文档检索和答案生成。RAG增强推理则侧重于利用检索到的知识来增强LLM的推理能力，例如提供缺失的前提或扩展上下文。协同RAG-推理则是一种更高级的框架，其中LLM可以迭代地交错搜索和推理，从而实现更复杂的知识密集型任务。

关键创新：论文的关键创新在于提出了一个统一的推理-检索视角，将RAG和推理视为一个整体，并探讨了它们之间的相互作用。此外，论文还重点关注了协同RAG-推理框架，并强调了Agentic LLM在其中的作用。通过迭代地交错搜索和推理，Agentic LLM可以更好地利用外部知识来解决复杂问题。

关键设计：论文主要是一篇综述，因此没有具体的参数设置、损失函数或网络结构等技术细节。但是，论文对各种RAG-推理方法进行了详细的分类和分析，并总结了它们的优缺点。此外，论文还提出了未来研究方向，例如如何构建更有效、多模态自适应、值得信赖和以人为本的RAG-推理系统。

🖼️ 关键图片

img_0

📊 实验亮点

该综述总结了当前RAG-推理领域的研究进展，并对各种方法进行了分类和比较。重点关注了协同RAG-推理框架，并强调了Agentic LLM在其中的作用。该综述还指出了当前研究的不足之处，并提出了未来研究方向。

🎯 应用场景

该研究成果可广泛应用于问答系统、知识图谱构建、智能客服、内容生成等领域。通过提升LLM的事实性和推理能力，可以构建更可靠、更智能的AI应用，例如在医疗诊断、金融分析等专业领域提供更准确的决策支持。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) lifts the factuality of Large Language Models (LLMs) by injecting external knowledge, yet it falls short on problems that demand multi-step inference; conversely, purely reasoning-oriented approaches often hallucinate or mis-ground facts. This survey synthesizes both strands under a unified reasoning-retrieval perspective. We first map how advanced reasoning optimizes each stage of RAG (Reasoning-Enhanced RAG). Then, we show how retrieved knowledge of different type supply missing premises and expand context for complex inference (RAG-Enhanced Reasoning). Finally, we spotlight emerging Synergized RAG-Reasoning frameworks, where (agentic) LLMs iteratively interleave search and reasoning to achieve state-of-the-art performance across knowledge-intensive benchmarks. We categorize methods, datasets, and open challenges, and outline research avenues toward deeper RAG-Reasoning systems that are more effective, multimodally-adaptive, trustworthy, and human-centric. The collection is available at https://github.com/DavidZWZ/Awesome-RAG-Reasoning.