Context Tuning for Retrieval Augmented Generation

📄 arXiv: 2312.05708v1 📥 PDF

作者: Raviteja Anantha, Tharun Bethi, Danil Vodianik, Srinivas Chappidi

分类: cs.IR, cs.AI, cs.LG

发布日期: 2023-12-09

备注: preprint version

💡 一句话要点

提出Context Tuning，增强RAG上下文检索，提升工具检索和规划生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 上下文检索 语义搜索 工具检索 LambdaMART

📋 核心要点

  1. 现有RAG方法依赖于查询中明确包含所有必要信息，导致语义搜索在上下文不足时失效。
  2. Context Tuning通过智能上下文检索系统，利用数值、分类和习惯用法信号来增强查询的上下文信息。
  3. 实验表明，Context Tuning显著提升了上下文检索和工具检索的性能，并提高了LLM规划器的准确率。

📝 摘要（中文）

大型语言模型(LLMs)仅需少量示例即可解决新任务，但前提是它们需要访问正确的工具。检索增强生成(RAG)通过检索给定任务的相关工具列表来解决这个问题。然而，RAG的工具检索步骤要求所有必要信息都明确地出现在查询中。这是一个限制，因为语义搜索（广泛采用的工具检索方法）在查询不完整或缺乏上下文时可能会失败。为了解决这个限制，我们提出了RAG的上下文调整(Context Tuning)，它采用智能上下文检索系统来获取相关信息，从而改进工具检索和计划生成。我们轻量级的上下文检索模型使用数值、分类和习惯用法信号来检索和排序上下文项。实验结果表明，上下文调整显著增强了语义搜索，在上下文检索和工具检索任务中的Recall@K分别提高了3.5倍和1.5倍，并使基于LLM的规划器准确率提高了11.6%。此外，我们表明，我们提出的使用带有LambdaMART的倒数排名融合(RRF)的轻量级模型优于基于GPT-4的检索。此外，我们观察到即使在工具检索之后，在计划生成中进行上下文增强也能减少幻觉。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）中，由于查询缺乏上下文信息，导致工具检索效果不佳的问题。现有的语义搜索方法在处理不完整或上下文不足的查询时，无法准确检索到相关工具，从而影响后续的计划生成。

核心思路：论文的核心思路是通过引入一个轻量级的上下文检索模型，自动地为原始查询补充相关的上下文信息。这个模型能够利用数值、分类和习惯用法等多种信号，从历史数据中检索并排序上下文项，从而增强查询的表达能力，提升语义搜索的准确性。

技术框架：整体框架包含两个主要阶段：上下文检索和工具检索。首先，上下文检索模型根据原始查询，从历史数据中检索出相关的上下文信息。然后，将检索到的上下文信息与原始查询结合，形成增强后的查询，用于工具检索。最后，使用增强后的查询检索到的工具用于LLM的计划生成。此外，在计划生成阶段，可以进一步进行上下文增强，以减少幻觉。

关键创新：论文的关键创新在于提出了一种轻量级的上下文检索模型，该模型能够有效地利用多种信号（数值、分类和习惯用法）来检索和排序上下文信息。此外，论文还探索了使用Reciprocal Rank Fusion (RRF) with LambdaMART来提升检索效果，并证明其优于基于GPT-4的检索方法。

关键设计：上下文检索模型使用数值、分类和习惯用法信号作为特征。数值信号可能包括点击次数、使用频率等；分类信号可能包括用户画像、工具类别等；习惯用法信号可能包括用户常用的查询模式等。这些特征被用于训练一个排序模型，例如LambdaMART，用于对检索到的上下文项进行排序。此外，论文还使用了Reciprocal Rank Fusion (RRF)来融合不同信号的排序结果，以获得更准确的排序结果。

📊 实验亮点

实验结果表明，Context Tuning在上下文检索和工具检索任务中的Recall@K分别提高了3.5倍和1.5倍，并使基于LLM的规划器准确率提高了11.6%。此外，论文还证明了使用带有LambdaMART的倒数排名融合(RRF)的轻量级模型优于基于GPT-4的检索。

🎯 应用场景

该研究成果可应用于各种需要检索增强生成的场景，例如智能客服、代码生成、文档摘要等。通过自动补充查询的上下文信息，可以提高检索的准确性和效率，从而改善用户体验，并提升LLM在复杂任务中的表现。未来，该方法可以进一步扩展到其他模态的数据，例如图像和音频，以支持更广泛的应用。

📄 摘要（原文）

Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG's tool retrieval step requires all the required information to be explicitly present in the query. This is a limitation, as semantic search, the widely adopted tool retrieval method, can fail when the query is incomplete or lacks context. To address this limitation, we propose Context Tuning for RAG, which employs a smart context retrieval system to fetch relevant information that improves both tool retrieval and plan generation. Our lightweight context retrieval model uses numerical, categorical, and habitual usage signals to retrieve and rank context items. Our empirical results demonstrate that context tuning significantly enhances semantic search, achieving a 3.5-fold and 1.5-fold improvement in Recall@K for context retrieval and tool retrieval tasks respectively, and resulting in an 11.6% increase in LLM-based planner accuracy. Additionally, we show that our proposed lightweight model using Reciprocal Rank Fusion (RRF) with LambdaMART outperforms GPT-4 based retrieval. Moreover, we observe context augmentation at plan generation, even after tool retrieval, reduces hallucination.