EnrichIndex: Using LLMs to Enrich Retrieval Indices Offline

📄 arXiv: 2504.03598v1 📥 PDF

作者: Peter Baile Chen, Tomer Wolfson, Michael Cafarella, Dan Roth

分类: cs.CL, cs.AI, cs.IR

发布日期: 2025-04-04

备注: Dataset and code are available at https://peterbaile.github.io/enrichindex/

💡 一句话要点

EnrichIndex：利用LLM离线增强检索索引，提升复杂语义检索性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 大型语言模型 语义增强 离线索引 检索效率

📋 核心要点

  1. 现有检索系统难以处理文档与查询之间存在隐式语义关联的情况，例如技术文档中的专业术语。
  2. EnrichIndex利用LLM的推理能力，离线构建语义增强的检索索引，无需在线实时计算LLM。
  3. 实验表明，EnrichIndex在多个检索任务上优于在线LLM检索系统，显著提升了召回率和NDCG。

📝 摘要（中文）

现有的信息检索系统在目标文档的语言与用户查询的语言非常匹配的情况下表现出色。然而，实际的检索系统通常需要隐式地推理文档是否相关。例如，在检索技术文本或表格时，它们与用户查询的相关性可能通过特定的术语或结构来暗示，而不是明确地在内容中表达。大型语言模型（LLM）通过利用其推理能力，在识别这种隐含的相关性方面具有巨大的潜力。然而，当前基于LLM增强的检索受到高延迟和计算成本的阻碍，因为LLM通常需要在线计算每个查询的查询-文档相关性。为了解决这个问题，我们引入了EnrichIndex，一种检索方法，它使用LLM离线构建语义增强的检索索引，通过在摄取时对检索语料库中的所有文档进行一次传递。此外，语义增强的索引可以补充现有的在线检索方法，从而提高LLM重排序器的性能。我们在五个检索任务（涉及段落和表格）上评估了EnrichIndex，发现它优于强大的基于在线LLM的检索系统，与强大的基线相比，召回率@10平均提高了11.7个百分点，NDCG@10平均提高了10.6个百分点。在对LLM的在线调用方面，它处理的token数量减少了293.3倍，从而大大降低了在线延迟和成本。总的来说，EnrichIndex是一种通过利用LLM强大的推理能力来离线构建更好的检索索引的有效方法。

🔬 方法详解

问题定义：现有信息检索系统在处理用户查询和文档之间存在隐式语义关联时表现不佳。例如，技术文档或表格中的专业术语、特定结构等，难以被传统检索方法有效识别。在线LLM增强检索虽然可以解决这个问题，但计算成本高昂，延迟大，难以应用于大规模检索系统。

核心思路：EnrichIndex的核心思路是将LLM的推理能力从在线查询阶段转移到离线索引构建阶段。通过预先利用LLM对文档进行语义增强，构建包含丰富语义信息的索引，从而在查询时无需实时调用LLM，降低了延迟和计算成本。这种离线增强的方式使得系统能够更好地理解文档的隐含语义，提高检索的准确性。

技术框架：EnrichIndex的整体流程包括以下几个主要阶段：1) 文档摄取：将文档输入系统。2) LLM语义增强：使用LLM对文档进行处理，提取或生成能够表达文档隐含语义的特征或表示。3) 索引构建：基于增强后的文档表示构建检索索引。4) 在线查询：接收用户查询，并使用构建好的索引进行检索。5) (可选) LLM重排序：可以使用LLM对检索结果进行重排序，进一步提升检索质量。

关键创新：EnrichIndex最重要的创新在于将LLM的推理能力应用于离线索引构建，而非在线查询。这与传统的在线LLM增强检索方法形成了鲜明对比，极大地降低了在线延迟和计算成本。通过离线增强，系统可以预先学习文档的隐含语义，从而在查询时能够更快速、更准确地找到相关文档。

关键设计：EnrichIndex的关键设计包括：1) LLM的选择：选择具有强大推理能力的LLM至关重要。2) 语义增强策略：如何利用LLM提取或生成文档的语义表示，例如使用LLM生成文档的摘要、关键词、或进行文档分类等。3) 索引结构的选择：选择合适的索引结构，例如倒排索引、向量索引等，以支持高效的检索。4) 损失函数：如果使用LLM进行微调，需要设计合适的损失函数来优化LLM的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EnrichIndex在五个检索任务上进行了评估，结果表明其性能优于强大的在线LLM检索系统。与基线相比，召回率@10平均提高了11.7个百分点，NDCG@10平均提高了10.6个百分点。同时，EnrichIndex处理的token数量减少了293.3倍，显著降低了在线延迟和成本，验证了其有效性和实用性。

🎯 应用场景

EnrichIndex可广泛应用于需要处理复杂语义关联的检索场景，例如技术文档检索、专利检索、法律文档检索等。通过离线增强索引，可以显著提升检索的准确性和效率，降低在线计算成本。该方法还可应用于企业内部知识库的构建，帮助员工快速找到所需信息，提高工作效率。

📄 摘要（原文）

Existing information retrieval systems excel in cases where the language of target documents closely matches that of the user query. However, real-world retrieval systems are often required to implicitly reason whether a document is relevant. For example, when retrieving technical texts or tables, their relevance to the user query may be implied through a particular jargon or structure, rather than explicitly expressed in their content. Large language models (LLMs) hold great potential in identifying such implied relevance by leveraging their reasoning skills. Nevertheless, current LLM-augmented retrieval is hindered by high latency and computation cost, as the LLM typically computes the query-document relevance online, for every query anew. To tackle this issue we introduce EnrichIndex, a retrieval approach which instead uses the LLM offline to build semantically-enriched retrieval indices, by performing a single pass over all documents in the retrieval corpus once during ingestion time. Furthermore, the semantically-enriched indices can complement existing online retrieval approaches, boosting the performance of LLM re-rankers. We evaluated EnrichIndex on five retrieval tasks, involving passages and tables, and found that it outperforms strong online LLM-based retrieval systems, with an average improvement of 11.7 points in recall @ 10 and 10.6 points in NDCG @ 10 compared to strong baselines. In terms of online calls to the LLM, it processes 293.3 times fewer tokens which greatly reduces the online latency and cost. Overall, EnrichIndex is an effective way to build better retrieval indices offline by leveraging the strong reasoning skills of LLMs.