Augmented Embeddings for Custom Retrievals

📄 arXiv: 2310.05380v1 📥 PDF

作者: Anirudh Khatry, Yasharth Bajpai, Priyanshu Gupta, Sumit Gulwani, Ashish Tiwari

分类: cs.IR, cs.LG

发布日期: 2023-10-09

备注: 14 pages

💡 一句话要点

提出适应性密集检索以解决异构检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 嵌入学习 大语言模型 异构数据 密集检索 自然语言处理 机器学习

📋 核心要点

  1. 现有的密集检索技术在处理异构文档时，无法有效捕捉任务特定的相似性，导致检索效果不佳。
  2. 本文提出适应性密集检索，通过对预训练嵌入进行低秩残差适应，增强了对异构和严格检索的能力。
  3. 实验证明，适应性密集检索在小的Top-K值下显著提高了检索性能，相比于现有基线有明显的提升。

📝 摘要（中文）

信息检索涉及从语料库中选择与给定搜索查询最相关的文档。传统的检索方法通常是同质和放松的，查询和语料元素都是自然语言表达，目标是从语料中选择最相关的元素。然而，随着大语言模型（LLMs）应用的兴起，检索的需求变得更加异质和严格，尤其是在小的Top-K值（如1、3或5）下。现有的基于预训练嵌入的密集检索技术虽然强大，但对异构文档的任务特定相似性缺乏敏感性。为此，本文提出了适应性密集检索机制，通过学习预训练嵌入的低秩残差适应，提升了异构和严格检索的效果。实验证明，该方法在性能上优于现有的通用嵌入基线。

🔬 方法详解

问题定义：本文旨在解决现有密集检索技术在异构文档检索中的不足，特别是在小Top-K值下的检索效果不佳的问题。现有方法通常基于通用嵌入，无法满足特定任务的需求。

核心思路：提出适应性密集检索机制，通过对预训练嵌入进行低秩残差适应，来提升检索的任务特定性和异构性。该设计旨在增强模型对不同类型文档的相似性理解。

技术框架：整体架构包括预训练嵌入的获取、低秩残差适应的学习以及最终的检索过程。主要模块包括嵌入生成模块、适应模块和检索模块。

关键创新：最重要的创新在于引入低秩残差适应机制，使得模型能够根据具体任务调整嵌入，从而更好地处理异构文档的检索需求。这与现有方法的通用性形成了鲜明对比。

关键设计：在参数设置上，采用低秩矩阵分解技术来实现残差适应，损失函数设计为结合任务特定相似性度量的形式，以确保模型在训练过程中能够有效学习到有用的特征。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，适应性密集检索在小Top-K值（如K=1、3、5）下，相比于现有的通用嵌入基线，检索性能提升显著，具体提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括信息检索、自然语言处理和大语言模型的优化等。通过提升异构文档的检索能力，可以在多种实际场景中实现更高效的信息获取，进而推动智能助手、代码检索等应用的发展。

📄 摘要（原文）

Information retrieval involves selecting artifacts from a corpus that are most relevant to a given search query. The flavor of retrieval typically used in classical applications can be termed as homogeneous and relaxed, where queries and corpus elements are both natural language (NL) utterances (homogeneous) and the goal is to pick most relevant elements from the corpus in the Top-K, where K is large, such as 10, 25, 50 or even 100 (relaxed). Recently, retrieval is being used extensively in preparing prompts for large language models (LLMs) to enable LLMs to perform targeted tasks. These new applications of retrieval are often heterogeneous and strict -- the queries and the corpus contain different kinds of entities, such as NL and code, and there is a need for improving retrieval at Top-K for small values of K, such as K=1 or 3 or 5. Current dense retrieval techniques based on pretrained embeddings provide a general-purpose and powerful approach for retrieval, but they are oblivious to task-specific notions of similarity of heterogeneous artifacts. We introduce Adapted Dense Retrieval, a mechanism to transform embeddings to enable improved task-specific, heterogeneous and strict retrieval. Adapted Dense Retrieval works by learning a low-rank residual adaptation of the pretrained black-box embedding. We empirically validate our approach by showing improvements over the state-of-the-art general-purpose embeddings-based baseline.