Inference Scaling for Long-Context Retrieval Augmented Generation
作者: Zhenrui Yue, Honglei Zhuang, Aijun Bai, Kai Hui, Rolf Jagerman, Hansi Zeng, Zhen Qin, Dong Wang, Xuanhui Wang, Michael Bendersky
分类: cs.CL
发布日期: 2024-10-06 (更新: 2025-03-02)
备注: ICLR 2025
💡 一句话要点
针对长文本RAG，提出推理计算扩展方法，优化知识利用并显著提升性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 检索增强生成 长文本处理 推理扩展 上下文学习 迭代提示 计算分配模型 大型语言模型 知识密集型任务
📋 核心要点
- 现有RAG方法单纯增加知识量，未能有效利用长文本信息，导致性能提升有限。
- 论文提出结合上下文学习和迭代提示等策略，灵活扩展测试时计算，优化知识利用。
- 实验表明，优化推理计算分配后，RAG性能近线性提升，最高提升达58.9%。
📝 摘要（中文）
本文研究了检索增强生成（RAG）的推理扩展问题，探讨了除简单增加知识量之外的多种策略组合，包括上下文学习和迭代提示。这些策略提供了额外的灵活性来扩展测试时计算（例如，增加检索到的文档或生成步骤），从而增强LLM有效获取和利用上下文信息的能力。本文旨在回答两个关键问题：（1）当进行优化配置时，RAG性能如何从推理计算的扩展中受益？（2）我们能否通过建模RAG性能与推理参数之间的关系，来预测给定预算下的最佳测试时计算分配？研究表明，当进行最佳分配时，增加推理计算会导致RAG性能的近线性增长，我们将其描述为RAG的推理扩展定律。在此基础上，我们进一步开发了计算分配模型，以估计不同推理配置下的RAG性能。该模型预测了各种计算约束下的最佳推理参数，这与实验结果非常吻合。通过应用这些最佳配置，我们证明了在长文本LLM上扩展推理计算，与标准RAG相比，在基准数据集上实现了高达58.9%的性能提升。
🔬 方法详解
问题定义：现有检索增强生成（RAG）方法在处理长文本时，通常侧重于增加检索到的文档数量，而忽略了如何有效地利用这些信息。简单地增加上下文长度并不一定能提高性能，因为大型语言模型（LLM）可能难以从大量噪声信息中提取关键知识。因此，如何优化推理计算的分配，以最大限度地利用检索到的知识，是本文要解决的核心问题。
核心思路：本文的核心思路是通过结合多种策略，包括上下文学习和迭代提示，来更有效地利用检索到的知识。这些策略允许在测试时灵活地扩展计算资源，例如增加检索到的文档数量或生成步骤，从而提高LLM从上下文中获取和利用信息的能力。通过建模RAG性能与推理参数之间的关系，可以预测给定计算预算下的最佳参数配置。
技术框架：本文的技术框架主要包括以下几个阶段：1) 检索：从外部知识库中检索相关文档。2) 增强：将检索到的文档与原始输入组合，形成增强的上下文。3) 生成：使用LLM基于增强的上下文生成答案。4) 优化：通过上下文学习和迭代提示等策略，优化LLM的推理过程。5) 建模：建立RAG性能与推理参数之间的关系模型，用于预测最佳计算分配。
关键创新：本文最重要的技术创新点在于提出了RAG的推理扩展定律，即在进行最佳分配时，增加推理计算会导致RAG性能的近线性增长。此外，本文还开发了一种计算分配模型，可以根据给定的计算预算，预测最佳的推理参数配置。与现有方法相比，本文更加关注如何有效地利用检索到的知识，而不是简单地增加知识量。
关键设计：在实验中，作者探索了不同的推理参数配置，例如检索到的文档数量、生成步骤数等。他们还研究了不同的上下文学习和迭代提示策略，以提高LLM的推理能力。通过大量的实验，作者确定了最佳的参数配置，并验证了计算分配模型的有效性。具体的参数设置和损失函数等技术细节在论文正文中应该有更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过优化推理计算的分配，RAG性能可以实现近线性的增长。在基准数据集上，与标准RAG相比，应用最佳配置后，性能提升高达58.9%。此外，计算分配模型能够准确预测不同推理配置下的RAG性能，并为实际应用提供有价值的指导。
🎯 应用场景
该研究成果可应用于各种知识密集型任务，例如问答系统、文档摘要、报告生成等。通过优化推理计算的分配，可以显著提高LLM在这些任务中的性能，从而提升用户体验和工作效率。未来，该研究可以进一步扩展到其他类型的LLM和RAG系统，并探索更复杂的推理策略。
📄 摘要（原文）
The scaling of inference computation has unlocked the potential of long-context large language models (LLMs) across diverse settings. For knowledge-intensive tasks, the increased compute is often allocated to incorporate more external knowledge. However, without effectively utilizing such knowledge, solely expanding context does not always enhance performance. In this work, we investigate inference scaling for retrieval augmented generation (RAG), exploring the combination of multiple strategies beyond simply increasing the quantity of knowledge, including in-context learning and iterative prompting. These strategies provide additional flexibility to scale test-time computation (e.g., by increasing retrieved documents or generation steps), thereby enhancing LLMs' ability to effectively acquire and utilize contextual information. We address two key questions: (1) How does RAG performance benefit from the scaling of inference computation when optimally configured? (2) Can we predict the optimal test-time compute allocation for a given budget by modeling the relationship between RAG performance and inference parameters? Our observations reveal that increasing inference computation leads to nearly linear gains in RAG performance when optimally allocated, a relationship we describe as the inference scaling laws for RAG. Building on this, we further develop the computation allocation model to estimate RAG performance across different inference configurations. The model predicts optimal inference parameters under various computation constraints, which align closely with the experimental results. By applying these optimal configurations, we demonstrate that scaling inference compute on long-context LLMs achieves up to 58.9% gains on benchmark datasets compared to standard RAG.