FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG

📄 arXiv: 2410.10293v3 📥 PDF

作者: Xinping Zhao, Yan Zhong, Zetian Sun, Xinshuo Hu, Zhenyu Liu, Dongfang Li, Baotian Hu, Min Zhang

分类: cs.IR, cs.CL

发布日期: 2024-10-14 (更新: 2025-02-17)

备注: 18 pages, 6 figures, 13 tables. Accepted by NAACL 2025

💡 一句话要点

提出FunnelRAG，一种由粗到精的渐进式检索范式，提升RAG效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG 渐进式检索 粗到精检索 信息检索 大语言模型 检索效率

📋 核心要点

  1. 现有RAG检索方法采用扁平结构，粒度恒定，导致单个检索器负担过重，检索性能受限。
  2. FunnelRAG提出一种由粗到精的渐进式检索范式，通过多阶段检索减轻单检索器负担，提升检索上限。
  3. 实验表明，FunnelRAG在保持检索性能的同时，将时间开销降低了近40%。

📝 摘要（中文）

检索增强生成(RAG)在大语言模型中应用广泛。它主要由检索和生成两部分组成。检索模块(又称检索器)旨在找到有用的信息，以促进生成模块(又称生成器)的生成。因此，生成器的性能在很大程度上取决于检索器的有效性和效率。然而，目前广泛使用的检索范式仍然是扁平的，它将检索过程视为一次性的，粒度恒定。尽管有效，但我们认为它们存在两个局限性：(1)扁平检索给单个检索器带来了巨大的负担；(2)恒定的粒度限制了检索性能的上限。在这项工作中，我们提出了一种用于RAG的由粗到精粒度的渐进式检索范式，称为FunnelRAG，以平衡有效性和效率。具体来说，FunnelRAG通过协作粗到精粒度、大到小数量和低到高容量来建立渐进式检索管道，这可以减轻单个检索器的负担，并提高检索性能的上限。大量实验表明，FunnelRAG实现了可比的检索性能，同时时间开销降低了近40%。

🔬 方法详解

问题定义：现有RAG系统中的检索模块通常采用扁平的检索方式，即一次性地使用具有固定粒度的检索器来查找相关信息。这种方式存在两个主要问题：一是单个检索器需要处理大量信息，负担过重；二是固定的检索粒度限制了检索性能的上限，难以充分挖掘潜在的相关信息。

核心思路：FunnelRAG的核心思路是采用一种由粗到精的渐进式检索策略，模拟漏斗的形状，逐步缩小检索范围，提高检索精度和效率。通过多阶段的检索，每一阶段的检索器只关注上一阶段筛选出的信息，从而减轻了单个检索器的负担，并允许不同阶段的检索器采用不同的粒度，以更全面地挖掘相关信息。

技术框架：FunnelRAG的整体框架包含多个检索阶段，每个阶段的检索器具有不同的粒度和容量。第一阶段的检索器通常采用粗粒度的检索方式，快速筛选出少量候选文档。后续阶段的检索器则采用更细粒度的检索方式，对候选文档进行更深入的分析和筛选，最终得到最相关的文档。整个过程类似于一个漏斗，信息量逐渐减少，精度逐渐提高。

关键创新：FunnelRAG的关键创新在于其渐进式的检索范式，它打破了传统RAG系统中扁平的检索结构，通过多阶段的粗到精检索，实现了效率和性能的平衡。与现有方法相比，FunnelRAG能够更有效地利用计算资源，并挖掘更深层次的相关信息。

关键设计：FunnelRAG的关键设计包括：(1) 不同阶段检索器的粒度选择，需要根据具体任务和数据特点进行调整；(2) 检索器之间的信息传递方式，需要保证信息的完整性和准确性；(3) 检索阶段的数量和顺序，需要根据实际情况进行优化；(4) 检索器的容量设计，需要平衡计算成本和检索性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FunnelRAG在保持与传统RAG方法相当的检索性能的同时，能够将时间开销降低近40%。这表明FunnelRAG在效率方面具有显著优势，能够在资源有限的情况下实现更好的检索效果。具体的性能数据和对比基线在论文正文中进行了详细展示。

🎯 应用场景

FunnelRAG可应用于各种需要高效信息检索的场景，例如问答系统、知识图谱构建、智能客服等。通过提升RAG系统的检索效率和准确性，可以改善用户体验，提高工作效率，并为更复杂的AI应用提供支持。未来，FunnelRAG有望在医疗、金融等领域发挥重要作用。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) prevails in Large Language Models. It mainly consists of retrieval and generation. The retrieval modules (a.k.a. retrievers) aim to find useful information used to facilitate the generation modules (a.k.a. generators). As such, generators' performance largely depends on the effectiveness and efficiency of retrievers. However, the widely used retrieval paradigm remains flat. It treats retrieval procedures as a one-off deal with constant granularity. Despite effectiveness, we argue that they suffer from two limitations: (1) flat retrieval exerts a significant burden on one retriever; (2) constant granularity limits the ceiling of retrieval performance. In this work, we propose a progressive retrieval paradigm with coarse-to-fine granularity for RAG, termed FunnelRAG, so as to balance effectiveness and efficiency. Specifically, FunnelRAG establishes a progressive retrieval pipeline by collaborating coarse-to-fine granularity, large-to-small quantity, and low-to-high capacity, which can relieve the burden on one retriever and also promote the ceiling of retrieval performance. Extensive experiments manifest that FunnelRAG achieves comparable retrieval performance while the time overhead is reduced by nearly 40 percent.