Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems

📄 arXiv: 2407.10670v1 📥 PDF

作者: Yunxiao Shi, Xing Zi, Zijing Shi, Haimin Zhang, Qiang Wu, Min Xu

分类: cs.CL, cs.AI

发布日期: 2024-07-15

备注: ECAI2024 #1304

🔗 代码/项目: GITHUB

💡 一句话要点

提出ERM4框架，通过四个模块协同优化RAG系统的质量和效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG系统 查询重写 知识过滤 信息检索 大型语言模型 问答系统

📋 核心要点

  1. 现有RAG系统在查询重写、知识过滤和检索效率方面存在不足，影响响应质量和资源利用率。
  2. 提出ERM4框架，包含查询重写器增强、知识过滤器、记忆知识库和检索触发器四个模块，协同优化RAG系统。
  3. 实验结果表明，ERM4框架在多个QA数据集上有效提升了RAG系统的响应质量和效率。

📝 摘要（中文）

检索增强生成（RAG）技术利用大型语言模型（LLM）的上下文学习能力来生成更准确和相关的响应。RAG框架起源于简单的“检索然后阅读”方法，现已发展成为一种高度灵活和模块化的范例。查询重写器模块通过生成搜索友好的查询来增强知识检索，使输入问题与知识库更紧密地对齐。本研究通过生成多个查询以克服与单个查询相关的信息平台期，并通过重写问题以消除歧义来增强查询重写器模块。此外，发现当前的RAG系统存在不相关知识的问题，为此提出了知识过滤器。这两个模块都基于指令微调的Gemma-2B模型，共同提高了响应质量。最后，针对冗余检索问题，引入了记忆知识库和检索触发器。前者支持RAG系统知识库的动态扩展，无需参数调整，而后者优化了访问外部知识的成本，从而提高了资源利用率和响应效率。这四个RAG模块协同提高了RAG系统的响应质量和效率。这些模块的有效性已通过在六个常见QA数据集上的实验和消融研究得到验证。源代码可在https://github.com/Ancientshi/ERM4 访问。

🔬 方法详解

问题定义：现有RAG系统面临三个主要问题：一是查询重写器存在信息平台期和歧义问题，导致检索效果不佳；二是检索结果中包含不相关知识，影响响应质量；三是存在冗余检索，浪费计算资源。这些问题限制了RAG系统的性能和效率。

核心思路：ERM4框架的核心思路是通过模块化设计，针对RAG系统的不同瓶颈进行优化。具体来说，通过增强查询重写器生成多个查询并消除歧义，提高检索的准确性；通过知识过滤器过滤掉不相关知识，提升响应质量；通过记忆知识库和检索触发器，避免冗余检索，提高效率。

技术框架：ERM4框架包含四个主要模块：1) 查询重写器增强（Query Rewriter+）：生成多个查询并消除歧义；2) 知识过滤器（Knowledge Filter）：过滤不相关知识；3) 记忆知识库（Memory Knowledge Reservoir）：动态扩展知识库；4) 检索触发器（Retriever Trigger）：优化知识访问成本。整体流程是：输入问题首先经过查询重写器增强，生成多个优化后的查询；然后使用这些查询从外部知识库和记忆知识库中检索相关知识；接着使用知识过滤器过滤掉不相关知识；最后将过滤后的知识输入LLM生成响应。检索触发器用于判断是否需要访问外部知识库。

关键创新：ERM4框架的关键创新在于其模块化的设计和协同优化的思想。它不是简单地改进单个模块，而是通过四个模块的协同作用，全面提升RAG系统的性能。查询重写器增强通过生成多个查询和消除歧义，更有效地利用了LLM的上下文学习能力。记忆知识库的动态扩展和检索触发器的优化，提高了RAG系统的效率和可扩展性。

关键设计：查询重写器增强使用指令微调的Gemma-2B模型，生成多个查询，并使用特定的prompt消除歧义。知识过滤器也使用指令微调的Gemma-2B模型，判断检索到的知识是否相关。记忆知识库采用参数无关的方式动态扩展，避免了额外的训练成本。检索触发器基于一定的阈值判断是否需要访问外部知识库，从而优化资源利用率。具体阈值的设置和Gemma-2B模型的微调策略在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ERM4框架在六个常见的QA数据集上均取得了显著的性能提升。消融实验验证了每个模块的有效性。例如，查询重写器增强模块能够显著提高检索的准确率，知识过滤器能够有效降低噪声知识的干扰，记忆知识库和检索触发器能够显著提高检索效率。

🎯 应用场景

ERM4框架可应用于各种需要知识增强的自然语言处理任务，例如问答系统、对话系统、文本摘要等。该框架能够提高这些系统的准确性、相关性和效率，尤其适用于需要处理大量知识和高并发请求的场景。未来，可以进一步探索ERM4框架在其他领域的应用，例如智能客服、教育辅助等。

📄 摘要（原文）

Retrieval-augmented generation (RAG) techniques leverage the in-context learning capabilities of large language models (LLMs) to produce more accurate and relevant responses. Originating from the simple 'retrieve-then-read' approach, the RAG framework has evolved into a highly flexible and modular paradigm. A critical component, the Query Rewriter module, enhances knowledge retrieval by generating a search-friendly query. This method aligns input questions more closely with the knowledge base. Our research identifies opportunities to enhance the Query Rewriter module to Query Rewriter+ by generating multiple queries to overcome the Information Plateaus associated with a single query and by rewriting questions to eliminate Ambiguity, thereby clarifying the underlying intent. We also find that current RAG systems exhibit issues with Irrelevant Knowledge; to overcome this, we propose the Knowledge Filter. These two modules are both based on the instruction-tuned Gemma-2B model, which together enhance response quality. The final identified issue is Redundant Retrieval; we introduce the Memory Knowledge Reservoir and the Retriever Trigger to solve this. The former supports the dynamic expansion of the RAG system's knowledge base in a parameter-free manner, while the latter optimizes the cost for accessing external knowledge, thereby improving resource utilization and response efficiency. These four RAG modules synergistically improve the response quality and efficiency of the RAG system. The effectiveness of these modules has been validated through experiments and ablation studies across six common QA datasets. The source code can be accessed at https://github.com/Ancientshi/ERM4.