KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse

📄 arXiv: 2502.16002v4 📥 PDF

作者: Jingbo Yang, Bairu Hou, Wei Wei, Yujia Bao, Shiyu Chang

分类: cs.CL

发布日期: 2025-02-21 (更新: 2025-11-10)

💡 一句话要点

KVLink：通过高效的KV缓存复用加速大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 KV缓存 上下文复用 推理加速 位置嵌入

📋 核心要点

  1. 现有LLM在处理共享上下文的多个查询时，需要重复编码整个上下文，造成计算冗余。
  2. KVLink预先计算并缓存每个文档的KV表示，推理时直接拼接复用，避免重复计算。
  3. 实验表明，KVLink在问答准确率上平均提升4%，首个token生成时间减少高达96%。

📝 摘要（中文）

本文介绍了一种名为KVLink的方法，用于在大型语言模型（LLM）中实现高效的键值（KV）缓存复用。在许多LLM应用中，不同的输入可能共享重叠的上下文，例如，同一检索到的文档出现在多个查询中。然而，LLM仍然需要为每个查询编码整个上下文，导致冗余计算。本文研究了一种消除这种低效率的新策略，其中每个文档的KV缓存被独立地预先计算。在推理过程中，检索到的文档的KV缓存被连接起来，允许模型重用缓存的表示，而不是重新计算它们。为了减轻使用为每个文档独立计算的KV缓存时出现的性能下降，KVLink引入了两项关键技术：在推理时调整KV缓存的位置嵌入以匹配连接后的全局位置，以及使用可训练的特殊token来恢复独立编码文档之间的自注意力。在7个数据集上的实验表明，KVLink比最先进的方法平均提高了4%的问答准确率。此外，通过利用预先计算的KV缓存，与标准LLM推理相比，我们的方法将首个token的生成时间减少了高达96%，使其成为一种可扩展且高效的上下文复用解决方案。此外，KVLink可以与KV缓存压缩相结合，以进一步节省缓存加载和存储开销，同时优于基线。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在处理具有重叠上下文的多个查询时存在的计算冗余问题。现有方法需要为每个查询重新编码整个上下文，即使其中包含先前已经处理过的共享信息（例如，相同的检索文档）。这种重复计算导致效率低下，尤其是在需要快速响应的应用场景中。

核心思路：KVLink的核心思路是预先计算并缓存每个文档的键值（KV）表示。当多个查询共享相同的文档时，KVLink可以直接复用这些预先计算的KV缓存，而无需重新编码。通过这种方式，可以显著减少计算量，提高推理速度。

技术框架：KVLink的整体框架包含以下几个主要阶段：1) KV缓存预计算：对每个文档独立进行编码，并将其KV缓存存储起来。2) 上下文检索：对于每个查询，检索相关的文档。3) KV缓存拼接：将检索到的文档的KV缓存拼接起来，形成完整的上下文表示。4) LLM推理：使用拼接后的KV缓存进行LLM推理，生成最终的答案。

关键创新：KVLink的关键创新在于两个方面：1) 位置嵌入调整：由于KV缓存是独立计算的，直接拼接会导致位置信息错乱。KVLink通过调整KV缓存的位置嵌入，使其与全局位置相匹配。2) 特殊Token引入：为了恢复独立编码文档之间的自注意力，KVLink引入了可训练的特殊token，允许模型在不同文档之间建立联系。

关键设计：KVLink的关键设计包括：1) 位置嵌入调整策略：具体如何调整位置嵌入以适应拼接后的全局位置，例如线性变换或相对位置编码。2) 特殊Token的训练方式：如何训练这些特殊token，使其能够有效地恢复文档之间的自注意力。3) KV缓存压缩策略：如何结合KV缓存压缩技术，进一步减少存储和加载开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KVLink在7个数据集上的实验结果表明，其问答准确率平均提升了4%，显著优于现有方法。更重要的是，KVLink将首个token的生成时间减少了高达96%，极大地提高了LLM的响应速度。此外，KVLink还可以与KV缓存压缩技术相结合，进一步节省存储和加载开销，同时保持甚至超过基线的性能。

🎯 应用场景

KVLink适用于需要快速响应且上下文信息存在重叠的LLM应用场景，例如问答系统、信息检索、对话系统等。通过减少重复计算，KVLink可以显著提高LLM的推理速度和效率，降低部署成本，并为用户提供更流畅的交互体验。未来，KVLink有望应用于更广泛的LLM应用，例如智能客服、内容生成等。

📄 摘要（原文）

We describe KVLink, an approach for efficient key-value (KV) cache reuse in large language models (LLMs). In many LLM applications, different inputs can share overlapping context, such as the same retrieved document appearing in multiple queries. However, the LLMs still need to encode the entire context for each query, leading to redundant computation. In this paper, we investigate a new strategy to eliminate such inefficiency, where the KV cache of each document is precomputed independently. During inference, the KV caches of retrieved documents are concatenated, allowing the model to reuse cached representations instead of recomputing them. To mitigate the performance degradation when using KV caches computed independently for each document, KVLink introduces two key techniques: adjusting positional embeddings of the KV cache at inference to match the global position after concatenation, and using trainable special tokens to restore self-attention across independently encoded documents. Experiments across 7 datasets demonstrate that KVLink improves question answering accuracy by an average of 4% over state-of-the-art methods. Furthermore, by leveraging precomputed KV caches, our approach reduces time-to-first-token by up to 96% compared to standard LLM inference, making it a scalable and efficient solution for context reuse. Additionally, KVLink can be combined with KV cache compression to further save cache loading and storage overhead while outperforming the baselines.