The Pitfalls of KV Cache Compression

📄 arXiv: 2510.00231v1 📥 PDF

作者: Alex Chen, Renato Geh, Aditya Grover, Guy Van den Broeck, Daniel Israel

分类: cs.LG, cs.AI

发布日期: 2025-09-30

💡 一句话要点

揭示KV缓存压缩在多指令场景下的缺陷，并提出改进方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: KV缓存压缩 大型语言模型 指令泄露 多指令提示 系统提示 缓存驱逐策略 性能优化

📋 核心要点

  1. 现有KV缓存压缩方法在多指令场景下可能导致性能显著下降，特别是某些指令容易被忽略。
  2. 通过分析压缩方法、指令顺序和KV驱逐偏差等因素，揭示了系统提示泄露的根本原因。
  3. 提出了改进的KV缓存驱逐策略，旨在减少上述因素的影响，提升多指令任务的整体性能。

📝 摘要（中文）

KV缓存压缩旨在提高大型语言模型的吞吐量和效率，同时尽量减少性能损失。尽管吞吐量方面的提升毋庸置疑，并且现有研究表明在特定基准测试中性能下降很小，但对于多指令提示等实际场景下压缩的影响研究不足。本文指出了从业者在部署KV缓存压缩LLM时应注意的几个陷阱。重要的是，我们发现某些指令在压缩后性能下降更快，导致LLM完全忽略它们。以系统提示泄露为例，我们通过实验展示了压缩对泄露和通用指令遵循的影响。我们揭示了提示泄露的几个影响因素：压缩方法、指令顺序和KV驱逐偏差。最后，我们提出了KV缓存驱逐策略的简单修改，以减少这些因素的影响并提高多指令任务的整体性能。

🔬 方法详解

问题定义：论文关注的是KV缓存压缩在实际应用中，尤其是在多指令提示场景下的潜在问题。现有研究主要集中在吞吐量提升和特定基准测试上的性能评估，而忽略了压缩对复杂指令，特别是系统提示等关键指令的影响。现有方法的痛点在于，没有充分考虑压缩可能导致指令被忽略，从而影响LLM的整体性能和安全性。

核心思路：论文的核心思路是通过实验分析，揭示KV缓存压缩在多指令场景下可能导致指令泄露的根本原因。具体来说，研究了压缩方法、指令顺序和KV驱逐偏差等因素对指令泄露的影响。基于这些分析，提出了改进的KV缓存驱逐策略，以减少这些因素的影响，从而提高LLM在多指令任务中的性能。

技术框架：论文采用实验分析的方法，首先设计实验来评估不同压缩方法、指令顺序和KV驱逐策略对指令泄露的影响。然后，通过分析实验结果，揭示指令泄露的根本原因。最后，基于这些分析，提出了改进的KV缓存驱逐策略。整个流程包括：1) 设计实验评估指令泄露；2) 分析实验结果，揭示根本原因；3) 提出改进的KV缓存驱逐策略。

关键创新：论文的关键创新在于揭示了KV缓存压缩在多指令场景下可能导致指令泄露的问题，并提出了改进的KV缓存驱逐策略。与现有方法相比，该论文更加关注压缩对复杂指令的影响，并提出了针对性的解决方案。

关键设计：论文的关键设计包括：1) 设计实验来评估不同压缩方法、指令顺序和KV驱逐策略对指令泄露的影响；2) 分析实验结果，揭示指令泄露的根本原因；3) 提出改进的KV缓存驱逐策略，例如，可以调整驱逐策略，优先保留系统提示等关键指令的KV缓存。

🖼️ 关键图片

img_0

📊 实验亮点

论文通过实验证明，KV缓存压缩可能导致系统提示泄露，并且压缩方法、指令顺序和KV驱逐偏差等因素都会影响泄露程度。通过改进KV缓存驱逐策略，可以显著降低指令泄露的风险，提高LLM在多指令任务中的性能。具体的性能提升数据和对比基线需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种需要部署大型语言模型的场景，尤其是在多指令提示和安全要求较高的应用中，例如智能客服、内容生成和代码生成等。通过改进KV缓存驱逐策略，可以提高LLM的性能和安全性，降低指令泄露的风险，从而提升用户体验和保护敏感信息。

📄 摘要（原文）

KV cache compression promises increased throughput and efficiency with negligible loss in performance. While the gains in throughput are indisputable and recent literature has indeed shown minimal degradation on particular benchmarks, in general the consequences of compression in realistic scenarios such as multi-instruction prompting have been insufficiently studied. In this paper, we identify several pitfalls practitioners should be aware of when deploying KV cache compressed LLMs. Importantly, we show that certain instructions degrade much more rapidly with compression, effectively causing them to be completely ignored by the LLM. As a practical example of that, we highlight system prompt leakage as a case study, empirically showing the impact of compression on leakage and general instruction following. We show several factors that play a role in prompt leakage: compression method, instruction order, and KV eviction bias. We then propose simple changes to KV cache eviction policies that can reduce the impact of these factors and improve the overall performance in multi-instruction tasks.