Beyond Relevance: Utility-Centric Retrieval in the LLM Era

📄 arXiv: 2604.08920v1 📥 PDF

作者: Hengran Zhang, Minghao Tang, Keping Bi, Jiafeng Guo

分类: cs.IR, cs.AI, cs.CL, cs.LG

发布日期: 2026-04-10

备注: Accepted by SIGIR2026

💡 一句话要点

面向LLM的效用驱动检索：超越相关性，提升检索增强生成质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 检索增强生成 大型语言模型 效用驱动检索 LLM信息需求

📋 核心要点

  1. 传统检索系统侧重于相关性，忽略了用户任务完成的实际效用，尤其是在RAG场景下。
  2. 论文提出以LLM为中心的效用驱动检索，将检索目标与生成质量紧密结合，提升RAG性能。
  3. 论文构建了统一框架，涵盖多种效用类型，并探讨了与LLM信息需求和自主RAG的关联。

📝 摘要（中文）

传统的信息检索系统主要优化主题相关性，即检索到的文档与查询的匹配程度。然而，相关性只是对更深层目标——效用（即检索到的信息是否能帮助完成用户的潜在任务）的近似。检索增强生成（RAG）的出现从根本上改变了这种范式。检索到的文档不再直接被用户消费，而是作为大型语言模型（LLM）生成答案的证据。因此，检索效果必须通过其对生成质量的贡献来评估，而不仅仅是基于相关性的排序指标。本教程认为，检索目标正在从以相关性为中心的优化转向以LLM为中心的效用。我们提出了一个统一的框架，涵盖了LLM无关与LLM特定的效用、上下文独立与上下文相关的效用，以及与LLM信息需求和自主RAG的联系。通过综合最近的进展，本教程为设计符合基于LLM的信息访问要求的检索系统提供了概念基础和实践指导。

🔬 方法详解

问题定义：传统信息检索系统主要关注检索结果与查询的相关性，而忽略了检索结果的实际效用，即检索结果是否能够帮助用户完成其潜在的任务。尤其是在检索增强生成（RAG）的场景下，检索结果不再直接呈现给用户，而是作为LLM生成答案的依据。因此，仅仅关注相关性无法保证最终生成结果的质量。现有方法缺乏对LLM需求的深入理解，导致检索结果可能对LLM生成高质量答案的贡献有限。

核心思路：论文的核心思路是将检索目标从相关性驱动转变为效用驱动，即检索系统需要关注检索结果对LLM生成高质量答案的贡献。通过优化检索结果的效用，可以提升RAG系统的整体性能。这种效用不仅包括LLM无关的效用，也包括LLM特定的效用，需要根据具体的LLM和任务进行调整。

技术框架：论文提出了一个统一的框架，用于描述和分析不同类型的效用。该框架涵盖了LLM无关与LLM特定的效用、上下文独立与上下文相关的效用。此外，该框架还考虑了LLM的信息需求以及自主RAG。整体流程包括：1）定义LLM的信息需求；2）根据信息需求设计效用函数；3）使用效用函数优化检索系统；4）评估RAG系统的生成质量。

关键创新：论文最重要的技术创新点在于提出了以LLM为中心的效用驱动检索这一概念，并将其与RAG系统紧密结合。与传统的相关性驱动检索相比，效用驱动检索能够更好地满足LLM的需求，从而提升RAG系统的生成质量。此外，论文提出的统一框架为分析和设计不同类型的效用提供了理论基础。

关键设计：论文的关键设计包括：1）LLM信息需求的建模方法；2）LLM无关和LLM特定的效用函数的定义；3）上下文独立和上下文相关的效用函数的定义；4）用于优化检索系统的损失函数设计；5）用于评估RAG系统生成质量的指标选择。

📊 实验亮点

论文提出了一个统一的框架，涵盖了LLM无关与LLM特定的效用、上下文独立与上下文相关的效用，以及与LLM信息需求和自主RAG的联系。通过综合最近的进展，为设计符合基于LLM的信息访问要求的检索系统提供了概念基础和实践指导。具体实验结果未知，但概念框架的提出具有重要意义。

🎯 应用场景

该研究成果可广泛应用于各种需要检索增强生成的场景，例如问答系统、对话系统、知识库构建等。通过优化检索结果的效用，可以提升LLM生成答案的准确性、完整性和相关性，从而改善用户体验。此外，该研究还可以促进自主RAG的发展，使LLM能够更有效地利用外部知识来完成复杂的任务。

📄 摘要（原文）

Information retrieval systems have traditionally optimized for topical relevance-the degree to which retrieved documents match a query. However, relevance only approximates a deeper goal: utility, namely, whether retrieved information helps accomplish a user's underlying task. The emergence of retrieval-augmented generation (RAG) fundamentally changes this paradigm. Retrieved documents are no longer consumed directly by users but instead serve as evidence for large language models (LLMs) that produce answers. As a result, retrieval effectiveness must be evaluated by its contribution to generation quality rather than by relevance-based ranking metrics alone. This tutorial argues that retrieval objectives are evolving from relevance-centric optimization toward LLM-centric utility. We present a unified framework covering LLM-agnostic versus LLM-specific utility, context-independent versus context-dependent utility, and the connection with LLM information needs and agentic RAG. By synthesizing recent advances, the tutorial provides conceptual foundations and practical guidance for designing retrieval systems aligned with the requirements of LLM-based information access.