DeepRAG: Thinking to Retrieve Step by Step for Large Language Models

📄 arXiv: 2502.01142v2 📥 PDF

作者: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

分类: cs.AI, cs.CL, cs.IR

发布日期: 2025-02-03 (更新: 2025-06-08)

💡 一句话要点

DeepRAG：提出一种基于马尔可夫决策过程的检索增强生成框架，提升大语言模型的推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 检索增强生成 马尔可夫决策过程 强化学习 知识推理

📋 核心要点

  1. 现有大语言模型存在事实性幻觉问题，检索增强生成（RAG）方法受限于任务分解不充分和冗余检索。
  2. DeepRAG将检索增强推理建模为马尔可夫决策过程，动态决定每一步是检索外部知识还是依赖模型自身推理。
  3. 实验结果表明，DeepRAG有效提升了检索效率和答案准确率，在答案准确率上提升了26.4%。

📝 摘要（中文）

大型语言模型（LLMs）展现了卓越的推理能力，但由于其参数知识在时效性、准确性和全面性方面的局限性，实际应用受到严重的事实幻觉的限制。同时，由于任务分解效率低下和检索冗余，增强检索增强生成（RAG）的推理能力仍然具有挑战性，这些问题会引入噪声并降低响应质量。本文提出了DeepRAG，该框架将检索增强推理建模为马尔可夫决策过程（MDP），从而实现合理且自适应的检索。通过迭代分解查询，DeepRAG动态地决定在每个步骤是检索外部知识还是依赖参数推理。实验表明，DeepRAG提高了检索效率，并将答案准确率提高了26.4%，证明了其在增强检索增强推理方面的有效性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在检索增强生成（RAG）中面临的事实性幻觉问题。现有RAG方法在任务分解和检索策略上存在不足，导致检索效率低下，引入噪声，最终影响生成答案的准确性。这些痛点源于无法有效区分何时应该依赖外部知识，何时应该利用模型自身的参数知识进行推理。

核心思路：DeepRAG的核心思路是将检索增强推理过程建模为一个马尔可夫决策过程（MDP）。通过MDP框架，DeepRAG能够动态地、自适应地决定在每个步骤是进行外部知识检索，还是依赖模型自身的参数知识进行推理。这种动态决策机制旨在优化检索过程，减少冗余检索，并提高检索效率。

技术框架：DeepRAG的整体框架包含以下主要模块：1) 查询分解模块：将原始查询分解为一系列子查询，每个子查询对应一个推理步骤。2) 状态表示模块：定义MDP的状态，包括当前查询、历史检索结果和模型自身的知识状态。3) 动作选择模块：根据当前状态，决定是进行外部知识检索还是进行参数推理。4) 奖励函数模块：根据生成答案的准确性和检索效率，对每个动作进行奖励或惩罚。5) 策略学习模块：利用强化学习算法，学习最优的检索策略。

关键创新：DeepRAG的关键创新在于将检索增强推理建模为MDP，从而实现了动态和自适应的检索策略。与传统的RAG方法相比，DeepRAG能够根据当前状态动态地决定是否进行检索，避免了盲目检索和冗余检索。此外，DeepRAG还引入了奖励函数，鼓励模型生成准确的答案并提高检索效率。

关键设计：DeepRAG的关键设计包括：1) 状态表示：状态向量包含了查询的嵌入表示、历史检索结果的嵌入表示以及模型自身的知识状态的嵌入表示。2) 动作空间：动作空间包括进行外部知识检索和进行参数推理两种动作。3) 奖励函数：奖励函数综合考虑了生成答案的准确性和检索效率，例如，准确的答案会获得正向奖励，而冗余的检索会受到惩罚。4) 策略学习：采用强化学习算法（如Policy Gradient或Q-learning）来学习最优的检索策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DeepRAG在问答任务中显著提高了答案的准确率，相比于基线方法提升了26.4%。此外，DeepRAG还提高了检索效率，减少了冗余检索，证明了其在增强检索增强推理方面的有效性。这些结果表明，DeepRAG能够有效地缓解大型语言模型的事实性幻觉问题。

🎯 应用场景

DeepRAG可应用于各种需要知识增强的大语言模型应用场景，例如问答系统、对话生成、文本摘要等。通过提高检索效率和答案准确率，DeepRAG能够提升这些应用的性能和用户体验。未来，DeepRAG有望在医疗、金融、法律等专业领域发挥重要作用，为用户提供更可靠、更准确的信息服务。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable reasoning capabilities, while their practical applications are limited by severe factual hallucinations due to limitations in the timeliness, accuracy, and comprehensiveness of their parametric knowledge. Meanwhile, enhancing retrieval-augmented generation (RAG) with reasoning remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling reasonable and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency and boosts answer accuracy by 26.4%, demonstrating its effectiveness in enhancing retrieval-augmented reasoning.