CacheGen: KV Cache Compression and Streaming for Fast Large Language Model Serving

📄 arXiv: 2310.07240v6 📥 PDF

作者: Yuhan Liu, Hanchen Li, Yihua Cheng, Siddhant Ray, Yuyang Huang, Qizheng Zhang, Kuntai Du, Jiayi Yao, Shan Lu, Ganesh Ananthanarayanan, Michael Maire, Henry Hoffmann, Ari Holtzman, Junchen Jiang

分类: cs.NI, cs.LG

发布日期: 2023-10-11 (更新: 2024-07-19)

备注: SIGCOMM'24

🔗 代码/项目: GITHUB

💡 一句话要点

提出CacheGen以解决长上下文处理延迟问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 KV缓存 上下文处理 带宽适应 压缩技术 延迟优化 智能助手

📋 核心要点

  1. 现有方法在处理长上下文时存在延迟问题，尤其是KV缓存的网络获取导致额外的延迟。
  2. CacheGen通过自定义张量编码器压缩KV缓存，并根据带宽动态调整压缩级别，以提高上下文加载效率。
  3. 实验结果显示，CacheGen在KV缓存大小和上下文处理延迟方面显著优于现有系统，且对生成质量影响较小。

📝 摘要（中文）

随着大型语言模型（LLMs）承担复杂任务，其输入需要更长的上下文以融入领域知识。然而，使用长上下文面临挑战，因为在整个上下文被处理之前无法生成任何内容。CacheGen是一个快速的上下文加载模块，通过自定义张量编码器将KV缓存压缩为更紧凑的比特流表示，从而节省带宽使用。CacheGen根据可用带宽的变化调整KV缓存的压缩级别，以保持低的上下文加载延迟和高的生成质量。实验表明，CacheGen在流行的LLM和数据集上将KV缓存大小减少了3.5-4.3倍，并将上下文获取和处理的总延迟减少了3.2-3.7倍，同时对LLM响应质量的影响微乎其微。

🔬 方法详解

问题定义：论文要解决的问题是大型语言模型在处理长上下文时的延迟问题，尤其是KV缓存的网络获取导致的额外延迟。现有方法在上下文处理时无法有效利用KV缓存，造成性能瓶颈。

核心思路：论文的核心解决思路是通过自定义张量编码器将KV缓存压缩为更紧凑的比特流表示，从而减少带宽使用，并根据可用带宽动态调整压缩级别，以保持低延迟和高生成质量。

技术框架：整体架构包括两个主要模块：自定义张量编码器和动态压缩调整模块。前者负责将KV缓存压缩为比特流，后者根据网络带宽变化调整压缩级别。

关键创新：最重要的技术创新点在于利用KV缓存的分布特性进行压缩，并根据带宽动态调整压缩策略，这与现有方法的静态压缩方式形成鲜明对比。

关键设计：关键设计包括自定义张量编码器的具体实现，以及在带宽下降时提高特定上下文部分的压缩级别或实时重新计算KV缓存的策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CacheGen在流行的LLM和数据集上将KV缓存大小减少了3.5-4.3倍，同时将上下文获取和处理的总延迟减少了3.2-3.7倍，且对LLM响应质量的影响微乎其微。这些结果表明CacheGen在性能上显著优于现有的KV缓存重用系统。

🎯 应用场景

CacheGen的研究成果在大型语言模型的实际应用中具有广泛的潜在价值，尤其是在需要快速响应的场景，如智能助手、实时翻译和在线教育等。通过减少上下文处理延迟，CacheGen能够提升用户体验，并为大规模部署提供支持。

📄 摘要（原文）

As large language models (LLMs) take on complex tasks, their inputs are supplemented with longer contexts that incorporate domain knowledge. Yet using long contexts is challenging, as nothing can be generated until the whole context is processed by the LLM. While the context-processing delay can be reduced by reusing the KV cache of a context across different inputs, fetching the KV cache, which contains large tensors, over the network can cause high extra network delays. CacheGen is a fast context-loading module for LLM systems. First, CacheGen uses a custom tensor encoder, leveraging KV cache's distributional properties to encode a KV cache into more compact bitstream representations with negligible decoding overhead, to save bandwidth usage. Second, CacheGen adapts the compression level of different parts of a KV cache to cope with changes in available bandwidth, in order to maintain low context-loading delay and high generation quality. % When available bandwidth drops, CacheGen may raise the compression level for a part of the context or recompute its KV cache on the fly. We test CacheGen on popular LLMs and datasets. Compared to the recent systems that reuse the KV cache, CacheGen reduces the KV cache size by 3.5-4.3x and the total delay in fetching and processing contexts by 3.2-3.7x with negligible impact on the LLM response quality. Our code is at: https://github.com/UChi-JCL/CacheGen.