DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction

📄 arXiv: 2610.22130v1 📥 PDF

作者: Aozhong Zhang, Selcuk Gurses, Yanxia Deng, Naigang Wang, Chi-Chun Liu, Davis Wertheimer, Derrick Liu, Xin Li, Zi Yang, Felix X. -F. Ye, Penghang Yin

分类: cs.AI

发布日期: 2026-10-15

备注: Accepted by NeurIPS 2026

💡 一句话要点

提出DropKV以解决KV缓存管理中的输出扰动问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: KV缓存管理 大语言模型 输出扰动 驱逐策略 性能优化

📋 核心要点

  1. 现有的KV缓存驱逐方法在优化输出扰动时面临NP难题，导致实现上存在局限性。
  2. DropKV通过解耦联合驱逐决策为独立的每个token评分，避免了组合难题，提供了近似保证。
  3. 在RULER和LongBench基准测试中，DropKV在相同缓存预算下实现了最低的推理延迟，并且速度优于动态缓存基线。

📝 摘要（中文）

随着大语言模型（LLMs）在长上下文场景中的应用，关键值（KV）缓存管理成为了一个重要瓶颈。现有的驱逐方法虽然引入了值表示，但在优化输出扰动时面临NP难题，导致实现上存在局限。本文提出了DropKV，一个基于解耦残差输出扰动的驱逐框架，通过将联合驱逐决策解耦为独立的每个token评分，避免了组合难题，并在特定条件下提供了可证明的常数因子近似保证。我们还实现了高性能的融合Triton内核，避免了完整注意力矩阵的物化，实现了19.8倍的评分内核加速，最终在RULER和LongBench基准测试中表现优异。

🔬 方法详解

问题定义：本文旨在解决大语言模型中KV缓存管理的输出扰动问题。现有方法通常依赖简单的注意力分数启发式，难以有效优化，导致性能不足。

核心思路：DropKV的核心思路是将联合驱逐决策解耦为独立的每个token评分，从而避免组合优化的复杂性。这种设计使得驱逐过程更加高效且易于实现。

技术框架：DropKV的整体架构包括三个主要模块：首先是输入token的评分计算，其次是基于评分的驱逐决策，最后是高性能的内核实现，确保快速执行。

关键创新：DropKV的最大创新在于其解耦的驱逐策略，提供了可证明的近似保证，与传统方法相比，显著降低了计算复杂度。

关键设计：在实现上，DropKV使用了融合的Triton内核，避免了完整注意力矩阵的物化，设置了高效的损失函数以优化评分过程，确保了在长上下文场景中的高效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，DropKV在RULER和LongBench基准测试中表现优异，达到了最低的推理延迟，并且在相同缓存预算下，速度比现有的最先进基线快了19.8倍，最终实现了高达9.9%的端到端预填充加速。

🎯 应用场景

DropKV的研究成果在大语言模型的KV缓存管理中具有广泛的应用潜力，尤其是在需要处理长上下文的自然语言处理任务中。其高效的驱逐策略能够显著提升模型的推理速度和响应能力，未来可能在实时对话系统、智能助手等领域发挥重要作用。

📄 摘要（原文）

Key-value (KV) cache management has become a critical bottleneck for scaling Large Language Models (LLMs) to long-context scenarios due to linear memory growth. While recent eviction methods have moved beyond simple attention-score heuristics to incorporate value representations, they typically face a fundamental trade-off: the underlying optimization for minimizing output perturbation is an NP-hard combinatorial problem, leading to mathematically suboptimal heuristics or implementations that are difficult to kernelize. In this work, we propose DropKV, a simple principled eviction framework based on Decoupled Residual-Output Perturbation. By decoupling the joint eviction decision into independent per-token scoring, DropKV circumvents combinatorial intractability and admits a provable constant-factor approximation guarantee under a cone condition that we empirically verify on three long-context LLMs. To ensure practical viability, we provide a high-performance implementation using fused Triton kernels that avoid materializing the full attention matrix, delivering a 19.8x scoring-kernel speedup that translates to up to a 9.9% matched-batch end-to-end prefill speedup. Extensive evaluations on the RULER and LongBench benchmarks demonstrate that DropKV consistently outperforms state-of-the-art baselines at equivalent cache budgets, achieving the lowest inference latency among eviction methods while also remaining faster than the dynamic cache baseline.