Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks

📄 arXiv: 2412.15605v2 📥 PDF

作者: Brian J Chan, Chao-Ting Chen, Jui-Hung Cheng, Hen-Hsen Huang

分类: cs.CL

发布日期: 2024-12-20 (更新: 2025-02-23)

备注: 5 pages, accepted by the Web Conference 2025 (WWW '25) as a short paper

DOI: 10.1145/3701716.3715490

💡 一句话要点

针对知识密集型任务，提出缓存增强生成（CAG）替代RAG，提升效率并降低复杂度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 缓存增强生成 长上下文LLM 知识密集型任务 检索增强生成替代 预加载知识 运行时参数缓存 知识库问答

📋 核心要点

  1. RAG方法在知识密集型任务中面临检索延迟、错误和系统复杂性等问题。
  2. CAG方法通过预加载知识到LLM上下文并缓存参数，避免了实时检索。
  3. 实验表明，在特定场景下，CAG可以媲美甚至超越RAG，同时降低了系统复杂度。

📝 摘要（中文）

检索增强生成（RAG）作为一种通过整合外部知识源来增强语言模型的方法，受到了广泛关注。然而，RAG引入了检索延迟、文档选择错误以及系统复杂性等挑战。随着大型语言模型（LLM）上下文窗口显著扩展，本文提出了一种替代范式，即缓存增强生成（CAG），它绕过了实时检索。我们的方法包括预先将所有相关资源（特别是当检索的文档或知识规模有限且可管理时）加载到LLM的扩展上下文中，并缓存其运行时参数。在推理过程中，模型利用这些预加载的参数来回答查询，而无需额外的检索步骤。对比分析表明，CAG消除了检索延迟并最大限度地减少了检索错误，同时保持了上下文相关性。跨多个基准的性能评估突出了长上下文LLM优于或补充传统RAG管道的场景。这些发现表明，对于某些应用，特别是那些具有受限知识库的应用，CAG提供了一种简化且高效的RAG替代方案，以更低的复杂性实现了可比或更优越的结果。

🔬 方法详解

问题定义：论文旨在解决RAG在知识密集型任务中存在的检索延迟、潜在的文档选择错误以及由此带来的系统复杂性问题。现有RAG方法需要在每次查询时进行实时检索，这会显著增加延迟，并且检索到的文档可能与查询的相关性不高，从而影响最终的生成质量。

核心思路：论文的核心思路是利用大型语言模型（LLM）不断增长的上下文窗口，将所有相关的知识资源预先加载到LLM的上下文中，并缓存模型的运行时参数。这样，在推理阶段，模型可以直接利用预加载的知识和缓存的参数来生成答案，而无需进行额外的检索步骤，从而避免了RAG的缺点。

技术框架：CAG的技术框架主要包括两个阶段：预加载阶段和推理阶段。在预加载阶段，将所有相关的知识文档加载到LLM的扩展上下文中，并运行模型以缓存其运行时参数。在推理阶段，接收到查询后，模型直接利用预加载的知识和缓存的参数来生成答案，无需进行额外的检索步骤。整个流程简化了RAG的复杂性，并消除了检索延迟。

关键创新：CAG最重要的技术创新点在于它完全绕过了实时检索步骤，转而依赖于预加载的知识和缓存的参数。这与传统的RAG方法形成了鲜明对比，RAG需要在每次查询时进行实时检索。CAG的这种设计使得它能够显著降低延迟，并减少由于检索错误而导致的性能下降。

关键设计：CAG的关键设计在于如何有效地将知识文档加载到LLM的上下文中，以及如何缓存模型的运行时参数。论文可能涉及到一些关于上下文窗口管理、知识表示和参数缓存的技术细节，但具体细节未知。此外，如何选择合适的LLM以及如何优化预加载和推理过程也是关键的设计考虑因素，具体细节未知。

📊 实验亮点

论文通过实验证明，在某些特定场景下，CAG能够达到与传统RAG方法相当甚至更优越的性能，同时显著降低了延迟和系统复杂性。具体的性能数据和对比基线未知，但整体结果表明，对于知识库规模有限的应用，CAG是一种更具吸引力的选择。

🎯 应用场景

CAG方法适用于知识库规模有限且可管理的场景，例如问答系统、聊天机器人、文档摘要等。该方法可以显著提高响应速度，降低系统复杂性，并提升用户体验。未来，CAG有望在企业内部知识库、特定领域专家系统等领域得到广泛应用，为用户提供更高效、更准确的知识服务。

📄 摘要（原文）

Retrieval-augmented generation (RAG) has gained traction as a powerful approach for enhancing language models by integrating external knowledge sources. However, RAG introduces challenges such as retrieval latency, potential errors in document selection, and increased system complexity. With the advent of large language models (LLMs) featuring significantly extended context windows, this paper proposes an alternative paradigm, cache-augmented generation (CAG) that bypasses real-time retrieval. Our method involves preloading all relevant resources, especially when the documents or knowledge for retrieval are of a limited and manageable size, into the LLM's extended context and caching its runtime parameters. During inference, the model utilizes these preloaded parameters to answer queries without additional retrieval steps. Comparative analyses reveal that CAG eliminates retrieval latency and minimizes retrieval errors while maintaining context relevance. Performance evaluations across multiple benchmarks highlight scenarios where long-context LLMs either outperform or complement traditional RAG pipelines. These findings suggest that, for certain applications, particularly those with a constrained knowledge base, CAG provide a streamlined and efficient alternative to RAG, achieving comparable or superior results with reduced complexity.