Predictive Prefetching for Retrieval-Augmented Generation

📄 arXiv: 2605.17989v1 📥 PDF

作者: Wuyang Zhang, Shichao Pei

分类: cs.CL, cs.AI

发布日期: 2026-05-18

备注: Accepted by Forty-third International Conference on Machine Learning ICML 2026

💡 一句话要点

提出预测式预取框架，解决检索增强生成中同步检索带来的延迟问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 异步检索 预测式预取 延迟优化 语言模型

📋 核心要点

  1. 现有RAG方法因同步检索导致高延迟，且在复杂场景下信息需求不稳定，影响性能。
  2. 提出预测式预取框架，通过预测检索时机和内容，实现与信息需求演进对齐的异步检索。
  3. 实验表明，该框架在降低延迟和提升首次token时间方面有显著效果，同时保持答案质量。

📝 摘要（中文）

检索增强生成(RAG)提升了大型语言模型的事实依据，但由于同步检索而导致显著的延迟。虽然最近的工作探索了异步检索，但现有方法依赖于检索和生成之间的启发式协调，并假设解码过程中信息需求稳定，这在复杂的多领域设置中经常失效。本文提出了一种先进的异步检索框架，该框架能够根据不断发展的信息需求进行预测式预取。该框架利用生成动态中在不确定性变得关键之前出现的几个token的语义先兆，通过检索预测器、上下文监视器和查询生成器三个组件，显式地预测何时应该触发检索以及应该检索什么信息。在多个基准测试上的实验表明，端到端延迟降低了高达43.5%，首次token时间提高了62.4%，同时保持了与同步RAG基线相当的答案质量。

🔬 方法详解

问题定义：检索增强生成（RAG）通过检索外部知识来增强大型语言模型，但传统的同步检索方式会引入显著的延迟，成为性能瓶颈。现有的异步检索方法依赖启发式规则协调检索和生成，并且假设解码过程中的信息需求是稳定的，这在复杂、多领域场景下通常不成立，导致检索效率低下。

核心思路：本文的核心思路是利用语言模型生成过程中的“语义先兆”来预测未来的信息需求，从而提前进行检索（预取）。具体来说，在模型生成token的过程中，通过监测上下文的变化，预测何时以及需要检索什么信息，并在实际需要之前完成检索，从而减少等待时间。这种预测式的预取能够更有效地利用异步检索的优势。

技术框架：该框架包含三个主要组件：1) 检索预测器（Retrieval Predictor）：预测何时需要进行检索。它基于当前生成的上下文，判断模型是否即将遇到信息缺失或不确定性。2) 上下文监视器（Context Monitor）：持续监控生成过程中的上下文变化，捕捉语义先兆，为检索预测器提供输入。3) 查询生成器（Query Generator）：根据预测的信息需求，生成用于检索的查询。这三个组件协同工作，实现预测式的异步检索。整体流程是，上下文监视器观察生成过程，检索预测器判断是否需要检索，如果需要，查询生成器生成查询，然后进行异步检索，检索结果在需要时被注入到生成过程中。

关键创新：该方法最重要的创新点在于将检索过程与生成过程解耦，并引入了预测机制。与传统的同步检索和启发式异步检索相比，该方法能够更智能地管理检索过程，根据实际的信息需求动态地调整检索策略。通过预测检索时机和内容，避免了不必要的检索，提高了检索效率，并降低了延迟。

关键设计：检索预测器可以使用分类器或回归模型，输入是当前上下文的表示，输出是检索概率或检索时间。上下文监视器可以使用循环神经网络（RNN）或Transformer等模型，捕捉上下文的语义变化。查询生成器可以使用语言模型或关键词提取算法，根据上下文生成查询。损失函数可以包括检索预测的准确率、检索结果的相关性等。具体参数设置取决于具体的任务和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架在多个基准测试中实现了显著的性能提升。端到端延迟降低了高达43.5%，首次token时间提高了62.4%，同时保持了与同步RAG基线相当的答案质量。这些数据表明，该方法在提高RAG系统的效率方面具有显著优势。

🎯 应用场景

该研究成果可应用于各种需要快速响应和高质量输出的检索增强生成场景，例如智能客服、问答系统、内容创作助手等。通过降低延迟，提升用户体验，并提高生成内容的准确性和相关性。未来，该技术可以进一步扩展到多模态RAG，例如结合图像、视频等信息进行检索和生成。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) improves factual grounding in large language models but suffers from substantial latency due to synchronous retrieval. While recent work explores asynchronous retrieval, existing approaches rely on heuristic coordination between retrieval and generation and assume stable information demands during decoding that often break in complex, multi-domain settings. In this paper, we propose an advanced asynchronous retrieval framework that enables predictive prefetching aligned with evolving information needs. The framework explicitly predicts when retrieval should be triggered and what information should be retrieved using three components, a retrieval predictor, a context monitor, and a query generator, by exploiting semantic precursors in generation dynamics that emerge several tokens before uncertainty becomes critical. Experiments on multiple benchmarks demonstrate up to 43.5% end-to-end latency reduction and 62.4% improvement in time-to-first-token, while maintaining answer quality comparable to synchronous RAG baselines.