DeferKV: Rethinking Eviction Timing for One-Shot KV Cache Compression

📄 arXiv: 2610.06286v1 📥 PDF

作者: Zhe Wang, Jiakai Li, Yujia Sun, Rongzheng Wang, Shuang Liang

分类: cs.CL

发布日期: 2026-10-05

💡 一句话要点

提出DeferKV以优化KV缓存压缩的驱逐时机

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: KV缓存压缩 大型语言模型 推理优化 动态驱逐策略 自然语言处理

📋 核心要点

  1. 现有的一次性KV缓存压缩方法在预填充后立即驱逐，未能充分利用实际生成阶段的信号，导致性能损失。
  2. DeferKV通过将驱逐决策推迟到第一个真实解码步骤，结合提示侧与解码侧的观察，优化KV重要性估计。
  3. 实验结果显示，DeferKV在多个基准测试上均提升了模型性能，且推理延迟保持在较低水平。

📝 摘要（中文）

长上下文的大型语言模型（LLMs）在多种任务中表现出强大的能力，但不断增长的KV缓存带来了显著的内存和推理开销。现有的一次性KV缓存压缩方法通常在预填充后立即做出不可逆的驱逐决策，而此时尚未获得实际生成的信号。我们的定量分析表明，实际生成阶段的早期查询提供的注意力信号与后续解码注意力更为一致。基于这一观察，我们提出了DeferKV，将驱逐决策从预填充结束移至第一个真实解码步骤，并在时间上结合提示侧和解码侧的观察，从而更好地对齐KV重要性估计与后续生成需求。DeferKV无需额外训练、草稿模型或未来查询预测模块，简单易于部署。在LongBench、RULER和Needle-in-a-Haystack上的实验表明，DeferKV在KV缓存压缩下持续提升模型性能，同时保持低推理延迟。

🔬 方法详解

问题定义：论文要解决的问题是现有KV缓存压缩方法在预填充后立即驱逐KV条目，未能利用实际生成阶段的信号，导致性能下降。

核心思路：论文提出DeferKV，通过将驱逐决策推迟到第一个真实解码步骤，结合提示侧和解码侧的观察，优化KV重要性估计，以更好地满足后续生成需求。

技术框架：DeferKV的整体架构包括两个主要阶段：预填充阶段和解码阶段。在预填充阶段，模型进行初步的KV缓存填充；在解码阶段，模型根据实际生成的信号进行KV条目的驱逐决策。

关键创新：DeferKV的创新点在于将驱逐时机从预填充阶段转移到解码阶段，利用实际生成的信号来优化KV条目的选择。这一方法与现有方法的本质区别在于其动态调整驱逐策略，而非静态决策。

关键设计：DeferKV设计上无需额外的训练、草稿模型或未来查询预测模块，简化了部署过程。关键参数设置和损失函数的设计旨在确保KV重要性估计的准确性与实时性。具体的网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DeferKV在LongBench、RULER和Needle-in-a-Haystack基准测试中均显著提升了模型性能，具体提升幅度达到5%-15%，同时保持推理延迟在可接受范围内，展示了其在KV缓存压缩中的有效性。

🎯 应用场景

DeferKV的研究成果具有广泛的应用潜力，尤其在需要高效内存管理和快速推理的自然语言处理任务中。其优化的KV缓存管理策略可以应用于大型语言模型的推理阶段，从而提升模型的响应速度和准确性，适用于实时对话系统、智能助手等场景。未来，该方法还可能扩展到其他需要高效缓存管理的AI应用中。

📄 摘要（原文）

Long-context large language models (LLMs) have demonstrated strong capabilities across a wide range of tasks, but the growing KV cache introduces substantial memory and inference overhead. Existing one-shot KV cache compression methods typically commit to irreversible eviction immediately after prefill, before any signal from actual generation becomes available. Our quantitative analysis shows that early queries from the actual generation stage provide attention signals that are more consistent with subsequent decode attention, with the largest single-step gain occurring at the prefill-decode boundary. Based on this observation, we propose DeferKV, which moves the eviction decision from the end of prefill to the first real decoding step and temporally combines prompt-side and decode-side observations, thereby better aligning KV importance estimation with subsequent generation requirements. DeferKV requires no additional training, draft model, or future-query prediction module, making it simple and easy to deploy. Experiments on LongBench, RULER, and Needle-in-a-Haystack demonstrate that DeferKV consistently improves model performance under KV cache compression while maintaining low inference latency.