DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation

📄 arXiv: 2505.07233v2 📥 PDF

作者: Jiashuo Sun, Xianrui Zhong, Sizhe Zhou, Jiawei Han

分类: cs.CL, cs.AI

发布日期: 2025-05-12 (更新: 2025-05-16)

备注: 24 pages, 7 figures, 15 tables

🔗 代码/项目: GITHUB

💡 一句话要点

DynamicRAG：利用大语言模型输出反馈动态调整检索增强生成中的重排序

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG 大语言模型 重排序 强化学习 动态检索 知识密集型任务

📋 核心要点

  1. 现有RAG系统的重排序器难以确定最佳检索文档数量，过多引入噪声，过少丢失关键信息。
  2. DynamicRAG将重排序器建模为智能体，通过强化学习动态调整检索文档的顺序和数量。
  3. 实验表明，DynamicRAG在多个知识密集型数据集上取得了优于现有方法的性能，达到SOTA水平。

📝 摘要（中文）

检索增强生成（RAG）系统结合了大语言模型（LLMs）与外部知识检索，使其在知识密集型任务中非常有效。重排序器是这些系统中一个至关重要但经常被忽视的组件。由于RAG系统中不相关的文档会误导生成器，因此重排序器在优化检索文档以提高生成质量和可解释性方面起着至关重要的作用。然而，确定重排序器应选择的适当文档数量（$k$）具有挑战性：太少可能导致错过关键信息，而太多则会引入噪声和降低效率。尽管最近的研究探索了基于LLM的重排序器，但它们主要利用内部模型知识，而忽略了LLM可以提供的丰富的监督信号，例如使用响应质量作为优化重排序决策的反馈。在本文中，我们提出了DynamicRAG，这是一种新颖的RAG框架，其中重排序器根据查询动态调整检索文档的顺序和数量。我们将重排序器建模为一个通过强化学习（RL）优化的代理，使用从LLM输出质量中获得的奖励。在七个知识密集型数据集上，DynamicRAG表现出卓越的性能，在相同参数大小的模型中实现了最先进的结果。

🔬 方法详解

问题定义：现有RAG系统中的重排序器需要人工设定检索文档的数量，这难以适应不同查询的需求。如果检索文档数量太少，可能遗漏关键信息；如果检索文档数量过多，则会引入噪声，降低生成质量和效率。因此，如何动态地确定最佳检索文档数量和顺序是一个关键问题。

核心思路：DynamicRAG的核心思路是将重排序器建模为一个智能体，通过强化学习来动态调整检索文档的数量和顺序。智能体的目标是最大化LLM生成结果的质量，并将LLM的输出质量作为奖励信号，指导智能体的学习。这样，重排序器可以根据查询的特点，自适应地选择最合适的文档，从而提高RAG系统的整体性能。

技术框架：DynamicRAG框架主要包含以下几个模块：1) 检索模块：负责从外部知识库中检索相关文档。2) 重排序模块：基于强化学习的智能体，动态调整检索文档的顺序和数量。3) 生成模块：利用LLM，基于重排序后的文档生成最终答案。4) 奖励模块：评估LLM生成结果的质量，并将评估结果作为奖励信号反馈给重排序模块。整个流程是：给定查询，检索模块检索初始文档集，重排序模块根据当前状态选择文档子集，LLM基于该子集生成答案，奖励模块评估答案质量并反馈给重排序模块，重排序模块根据奖励更新策略。

关键创新：DynamicRAG的关键创新在于将强化学习引入RAG系统的重排序环节，实现了检索文档数量和顺序的动态调整。与传统的静态重排序方法相比，DynamicRAG能够根据查询的特点自适应地选择最合适的文档，从而提高RAG系统的性能。此外，DynamicRAG利用LLM的输出质量作为奖励信号，避免了人工标注的成本，并能够更好地反映用户的真实需求。

关键设计：DynamicRAG的关键设计包括：1) 状态表示：将查询和检索文档的特征作为智能体的状态输入。2) 动作空间：定义智能体可以选择的动作，例如选择或不选择某个文档。3) 奖励函数：基于LLM生成结果的质量评估指标，例如BLEU、ROUGE等。4) 强化学习算法：采用合适的强化学习算法，例如Policy Gradient或Q-learning，来训练智能体。具体参数设置和网络结构的选择需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DynamicRAG在七个知识密集型数据集上进行了评估，实验结果表明，DynamicRAG在相同参数规模的模型中取得了最先进的性能。与传统的静态重排序方法相比，DynamicRAG能够显著提高生成结果的质量，并降低噪声的影响。具体性能提升数据需要在论文中查找。

🎯 应用场景

DynamicRAG可应用于各种知识密集型任务，例如问答系统、文本摘要、机器翻译等。通过动态调整检索文档的数量和顺序，DynamicRAG可以提高生成结果的质量和效率，并降低噪声的影响。该研究对于提升RAG系统的性能和可解释性具有重要意义，并为未来的RAG系统设计提供了新的思路。

📄 摘要（原文）

Retrieval-augmented generation (RAG) systems combine large language models (LLMs) with external knowledge retrieval, making them highly effective for knowledge-intensive tasks. A crucial but often under-explored component of these systems is the reranker. Since irrelevant documents in RAG systems can mislead the generator, the reranker plays a vital role in refining retrieved documents to enhance generation quality and explainability. However, it is challenging to determine the appropriate number of documents ($k$) that the reranker should select: too few may result in missing critical information, while too many introduce noise and inefficiencies. Although recent studies have explored LLM-based rerankers, they primarily leverage internal model knowledge and overlook the rich supervisory signals that LLMs can provide, such as using response quality as feedback for optimizing reranking decisions. In this paper, we propose DynamicRAG, a novel RAG framework where the reranker dynamically adjusts both the order and number of retrieved documents based on the query. We model the reranker as an agent optimized through reinforcement learning (RL), using rewards derived from LLM output quality. Across seven knowledge-intensive datasets, DynamicRAG demonstrates superior performance, achieving state-of-the-art results among models of same parameter sizes. The model, data and code are available at https://github.com/GasolSun36/DynamicRAG.