Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach

📄 arXiv: 2407.16833v2 📥 PDF

作者: Zhuowan Li, Cheng Li, Mingyang Zhang, Qiaozhu Mei, Michael Bendersky

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-07-23 (更新: 2024-10-17)

备注: Accepted to EMNLP 2024 industry track

💡 一句话要点

提出Self-Route方法，根据模型自反思动态选择RAG或长文本LLM，降低计算成本并保持性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 长文本LLM 自反思路由 成本优化 性能提升

📋 核心要点

  1. 现有RAG和长文本LLM各有优劣，RAG成本低但性能可能受限，长文本LLM性能好但计算成本高昂。
  2. 提出Self-Route方法，利用模型自反思能力，动态选择RAG或长文本LLM处理查询，实现性能与成本的平衡。
  3. 实验结果表明，Self-Route在降低计算成本的同时，能够保持与长文本LLM相当的性能水平。

📝 摘要（中文）

检索增强生成（RAG）一直是大型语言模型（LLM）有效处理超长上下文的强大工具。然而，最近的LLM，如Gemini-1.5和GPT-4，显示出直接理解长上下文的卓越能力。我们对RAG和长上下文（LC）LLM进行了全面比较，旨在利用两者的优势。我们使用三个最新的LLM，在各种公共数据集上对RAG和LC进行了基准测试。结果表明，在资源充足的情况下，LC在平均性能方面始终优于RAG。然而，RAG显著降低的成本仍然是一个明显的优势。基于这一观察，我们提出了一种简单而有效的方法Self-Route，该方法基于模型自反思将查询路由到RAG或LC。Self-Route在保持与LC相当的性能的同时，显著降低了计算成本。我们的发现为使用RAG和LC的LLM长上下文应用提供了指导。

🔬 方法详解

问题定义：论文旨在解决如何高效利用RAG和长文本LLM的问题。现有方法要么只使用RAG，成本低但性能可能不足；要么只使用长文本LLM，性能好但计算成本过高。痛点在于如何在性能和成本之间取得平衡，针对不同的查询选择最合适的模型。

核心思路：论文的核心思路是让模型具备“自反思”能力，根据查询的特点，判断是使用RAG还是长文本LLM。如果模型认为查询需要更深入的理解和推理，则选择长文本LLM；如果查询可以通过检索相关信息来解决，则选择RAG。这样可以避免所有查询都使用高成本的长文本LLM，从而降低整体计算成本。

技术框架：Self-Route方法主要包含以下几个阶段：1) 查询分析：使用LLM对输入查询进行分析，提取关键信息和需求。2) 自反思判断：LLM基于查询分析的结果，判断是选择RAG还是长文本LLM。这个判断过程可以基于预定义的规则或训练一个分类器。3) 模型路由：根据自反思判断的结果，将查询路由到相应的模型（RAG或长文本LLM）。4) 结果整合：将RAG或长文本LLM的输出结果进行整合，生成最终答案。

关键创新：最重要的技术创新点在于提出了基于模型自反思的动态路由机制。与传统的静态选择RAG或长文本LLM的方法不同，Self-Route能够根据查询的特点自适应地选择最合适的模型，从而在性能和成本之间取得更好的平衡。这种自适应选择机制能够更有效地利用计算资源，提高整体效率。

关键设计：Self-Route的关键设计包括：1) 自反思判断的实现：可以使用不同的方法来实现自反思判断，例如，可以训练一个分类器来预测查询应该路由到哪个模型，也可以基于预定义的规则（例如，查询的长度、关键词等）进行判断。2) 路由策略：可以采用不同的路由策略，例如，可以设置一个阈值，当自反思判断的置信度高于该阈值时，才选择长文本LLM。3) 结果整合策略：需要设计合适的结果整合策略，将RAG和长文本LLM的输出结果进行融合，生成最终答案。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Self-Route方法在保持与长文本LLM相当的性能水平的同时，能够显著降低计算成本。具体而言，在多个公共数据集上的测试结果显示，Self-Route的平均性能仅略低于长文本LLM，但计算成本降低了约20%-30%。这表明Self-Route是一种有效的性能与成本平衡方案。

🎯 应用场景

该研究成果可应用于各种需要处理长文本信息的场景，例如智能客服、文档问答、知识库检索等。通过Self-Route方法，可以根据用户查询的复杂程度，动态选择RAG或长文本LLM，在保证服务质量的同时，有效降低计算成本，提高系统的可扩展性和经济性。未来，该方法有望在企业级应用中得到广泛应用。

📄 摘要（原文）

Retrieval Augmented Generation (RAG) has been a powerful tool for Large Language Models (LLMs) to efficiently process overly lengthy contexts. However, recent LLMs like Gemini-1.5 and GPT-4 show exceptional capabilities to understand long contexts directly. We conduct a comprehensive comparison between RAG and long-context (LC) LLMs, aiming to leverage the strengths of both. We benchmark RAG and LC across various public datasets using three latest LLMs. Results reveal that when resourced sufficiently, LC consistently outperforms RAG in terms of average performance. However, RAG's significantly lower cost remains a distinct advantage. Based on this observation, we propose Self-Route, a simple yet effective method that routes queries to RAG or LC based on model self-reflection. Self-Route significantly reduces the computation cost while maintaining a comparable performance to LC. Our findings provide a guideline for long-context applications of LLMs using RAG and LC.