Behavior-Preserving KV Cache Compression
作者: Doo Hwan Hwang, Junyoung Jang, Junho Na, Hosung Lim, Kee-Eung Kim
分类: cs.CL
发布日期: 2026-10-05
期刊: EMNLP 2026 Main Conference Published
💡 一句话要点
提出行为保留的KV缓存压缩以解决长上下文推理瓶颈问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: KV缓存 长上下文推理 模型压缩 自然语言处理 生成模型
📋 核心要点
- 现有的KV缓存逐出策略依赖于代理信号，未能有效保留对模型输出至关重要的条目。
- 提出了一种无训练的行为保留KV缓存压缩框架，通过评估移除条目对输出分布的影响来优化缓存。
- 在多种模型架构下，该方法在下游任务质量上显著优于传统的注意力启发式方法，尤其在激进压缩时效果更佳。
📝 摘要（中文）
KV缓存是大语言模型在长上下文推理和长文本生成中的主要瓶颈。现有的无训练驱动的逐出策略主要依赖于代理重要性信号，如注意力质量，来决定保留哪些过去的标记。本文主张缓存压缩应保留全缓存模型的预测行为，保留那些移除后会显著改变模型输出分布的条目。我们提出了一种行为保留的KV缓存压缩框架，通过估计移除候选条目后压缩缓存的logits并评估与全缓存下一个标记分布的KL散度来评分候选逐出。该方法在多种架构和预填充时间及生成时间压缩中，相较于轻量级的基于注意力的启发式方法，在匹配保留KV预算的情况下，显著提升下游任务质量。
🔬 方法详解
问题定义：本文旨在解决KV缓存逐出策略在长上下文推理中的不足，现有方法未能有效保留对输出分布影响显著的条目，导致模型性能下降。
核心思路：提出的行为保留KV缓存压缩框架通过评估移除候选条目后对输出分布的影响，保留那些对模型预测至关重要的条目，从而优化缓存的使用。
技术框架：该方法包括候选条目的评分机制，通过计算移除条目后压缩缓存的logits，并与全缓存的下一个标记分布进行KL散度评估，避免了对每个候选条目进行单独的前向计算。
关键创新：最重要的创新在于通过KL散度评估移除条目的影响，确保保留对模型输出至关重要的条目，与传统方法相比，显著提升了模型的预测能力。
关键设计：该方法在压缩过程中使用了前向统计信息，避免了额外的计算开销，同时在评估过程中保持了端到端的速度优势。具体参数设置和损失函数设计未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在多种架构下，该方法在下游任务质量上相较于轻量级注意力启发式方法有显著提升，尤其在激进压缩情况下，能够在匹配保留KV预算的同时实现更高的性能。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的长文本生成、对话系统以及任何需要处理长上下文的任务。通过优化KV缓存的使用，能够显著提升模型的推理效率和生成质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
KV caches are a major bottleneck in long-context inference and long-form generation with large language models. Existing training-free eviction policies largely rely on proxy importance signals, such as attention mass, to decide which past tokens to retain. We argue that cache compression should instead preserve the predictive behavior of the full-cache model, retaining entries whose removal would substantially change the model's output distribution. We propose Behavior-Preserving KV Cache Compression, a training-free framework that scores candidate evictions by estimating the compressed-cache logits induced by their removal and evaluating the resulting KL to the full-cache next-token distribution. Using pre-eviction forward statistics, the method avoids running separate masked forward passes for each candidate. Across diverse architectures and both prefill-time and generation-time compression, our method delivers substantial gains in downstream task quality over lightweight attention-based heuristics at matched retained-KV budgets, with the largest gains under aggressive compression. It achieves these gains with additional compression-time computation while retaining an end-to-end speedup over full-cache inference in our evaluated settings.