GAR-meets-RAG Paradigm for Zero-Shot Information Retrieval

📄 arXiv: 2310.20158v1 📥 PDF

作者: Daman Arora, Anush Kini, Sayak Ray Chowdhury, Nagarajan Natarajan, Gaurav Sinha, Amit Sharma

分类: cs.CL

发布日期: 2023-10-31

备注: preprint

💡 一句话要点

提出GAR-meets-RAG范式以解决零样本信息检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 零样本学习 生成增强检索 检索增强生成 大型语言模型 深度学习

📋 核心要点

  1. 现有的GAR和RAG范式在零样本检索中面临高召回率和高精度模型的挑战，难以获得良好的初始化。
  2. 本文提出的GAR-meets-RAG方法通过迭代改进检索和重写阶段，旨在提高系统的召回率和精度。
  3. 在BEIR和TREC-DL基准上进行的实验表明，该方法在多个指标上超越了之前的最佳结果，提升幅度可达17%。

📝 摘要（中文）

信息检索（IR）任务旨在根据查询和文档库输出相关文档的排名列表。结合大型语言模型（LLMs）与基于嵌入的检索模型的最新研究在零样本检索问题上取得了良好效果。现有的生成增强检索（GAR）和检索增强生成（RAG）两种范式面临高召回率检索模型和高精度重排序模型的挑战。本文提出了一种新颖的GAR-meets-RAG递归公式，通过迭代改进零样本设置下的检索和重写阶段，最终在BEIR基准上建立了新的最先进水平，在6个数据集上相较于之前最佳结果提升了17%。

🔬 方法详解

问题定义：本文旨在解决零样本信息检索中的高召回率和高精度模型难以获得的问题，现有的GAR和RAG方法在此背景下表现不佳。

核心思路：提出的GAR-meets-RAG方法通过递归的方式迭代改进检索和重写阶段，旨在同时提升系统的召回率和精度。

技术框架：整体架构包括检索阶段（GAR）、重写阶段（RAG）和最终的重排序阶段。检索阶段生成额外的上下文，重写阶段利用检索到的文档生成答案，最后通过重排序提升精度。

关键创新：该方法的创新在于将GAR与RAG结合，通过递归迭代的方式有效提升了检索和重写的效果，与传统方法相比具有更高的灵活性和适应性。

关键设计：在设计中，重写和检索阶段的交替进行是关键，确保系统在每个阶段都能获得更好的召回率，损失函数和网络结构的选择也经过精心调整以适应零样本环境。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，GAR-meets-RAG方法在BEIR基准上建立了新的最先进水平，在Recall@100和nDCG@10指标上在8个数据集中的6个上超越了之前的最佳结果，提升幅度最高可达17%。

🎯 应用场景

该研究的潜在应用领域包括搜索引擎、问答系统和信息检索工具，能够在没有标注数据的情况下有效提升检索性能。未来，随着数据量的增加和模型的优化，该方法有望在更广泛的领域中得到应用，推动智能信息获取的进步。

📄 摘要（原文）

Given a query and a document corpus, the information retrieval (IR) task is to output a ranked list of relevant documents. Combining large language models (LLMs) with embedding-based retrieval models, recent work shows promising results on the zero-shot retrieval problem, i.e., no access to labeled data from the target domain. Two such popular paradigms are generation-augmented retrieval or GAR (generate additional context for the query and then retrieve), and retrieval-augmented generation or RAG (retrieve relevant documents as context and then generate answers). The success of these paradigms hinges on (i) high-recall retrieval models, which are difficult to obtain in the zero-shot setting, and (ii) high-precision (re-)ranking models which typically need a good initialization. In this work, we propose a novel GAR-meets-RAG recurrence formulation that overcomes the challenges of existing paradigms. Our method iteratively improves retrieval (via GAR) and rewrite (via RAG) stages in the zero-shot setting. A key design principle is that the rewrite-retrieval stages improve the recall of the system and a final re-ranking stage improves the precision. We conduct extensive experiments on zero-shot passage retrieval benchmarks, BEIR and TREC-DL. Our method establishes a new state-of-the-art in the BEIR benchmark, outperforming previous best results in Recall@100 and nDCG@10 metrics on 6 out of 8 datasets, with up to 17% relative gains over the previous best.