LookaheadKV: Fast and Accurate KV Cache Eviction by Glimpsing into the Future without Generation

📄 arXiv: 2603.10899v1 📥 PDF

作者: Jinwoo Ahn, Ingyu Seong, Akhil Kedia, Junhan Kim, Hyemi Jang, Kangwook Lee, Yongkweon Jeon

分类: cs.LG, cs.AI

发布日期: 2026-03-11

备注: ICLR 2026

🔗 代码/项目: GITHUB

💡 一句话要点

LookaheadKV：无需生成即可预测未来，实现快速准确的KV缓存淘汰

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: KV缓存淘汰 长文本处理 大型语言模型 自回归推理 参数高效 重要性预测 Transformer

📋 核心要点

  1. 长文本场景下，LLM推理时KV缓存线性增长导致内存瓶颈，现有淘汰策略依赖重要性评分。
  2. LookaheadKV通过参数高效模块预测未来token的重要性，避免了昂贵的草稿生成过程。
  3. 实验表明，LookaheadKV在长文本理解任务中优于现有方法，并显著降低了淘汰成本。

📝 摘要（中文）

基于Transformer的大型语言模型(LLMs)依赖于键值(KV)缓存来避免自回归推理期间的冗余计算。虽然这种机制极大地提高了效率，但缓存大小随着输入序列长度线性增长，迅速成为长上下文任务的瓶颈。现有的解决方案通过淘汰被认为不重要的prompt KV来缓解这个问题，并以估计的重要性分数为指导。值得注意的是，最近的一项工作提出通过“窥视未来”来提高淘汰质量，其中草稿生成器产生一个替代未来响应，近似于目标模型的真实响应，然后使用该替代响应来更准确地估计缓存KV的重要性。然而，这些方法依赖于计算成本高昂的草稿生成，这带来了大量的预填充开销，并限制了它们在实际部署中的实用性。为了应对这一挑战，我们提出了LookaheadKV，这是一个轻量级的淘汰框架，它利用了替代未来响应的优势，而无需显式的草稿生成。LookaheadKV使用参数高效的模块增强了transformer层，这些模块经过训练可以高精度地预测真实的重要性分数。我们的设计确保了可忽略不计的运行时开销，与现有的廉价启发式方法相当，同时实现了优于更昂贵近似方法的精度。在各种模型的长上下文理解基准上的大量实验表明，我们的方法不仅在各种长上下文理解任务中优于最近的竞争基线，而且还将淘汰成本降低了高达14.5倍，从而显著加快了首个token生成时间。我们的代码可在https://github.com/SamsungLabs/LookaheadKV获得。

🔬 方法详解

问题定义：大型语言模型在自回归推理过程中，KV缓存的大小随着输入序列长度线性增长，导致长文本处理时内存消耗过大。现有的KV缓存淘汰策略，例如基于注意力权重或梯度的方法，通常依赖于对当前token的重要性评估，缺乏对未来token的考虑，导致淘汰效果不佳。一些方法尝试通过生成草稿来预测未来token的重要性，但计算开销巨大，影响推理速度。

核心思路：LookaheadKV的核心思想是在不进行显式草稿生成的情况下，预测未来token的重要性，从而更准确地进行KV缓存淘汰。通过训练参数高效的模块，直接预测真实的重要性分数，避免了草稿生成带来的计算开销。这种方法旨在以最小的运行时开销，实现与更昂贵的近似方法相当甚至更高的精度。

技术框架：LookaheadKV通过在Transformer层中添加参数高效的模块来实现。这些模块与Transformer层并行工作，接收相同的输入，并预测每个token的重要性分数。这些分数用于指导KV缓存的淘汰过程。整体流程包括：1) 输入序列通过Transformer层进行处理；2) 并行地，参数高效模块预测每个token的重要性分数；3) 根据预测的重要性分数，淘汰不重要的KV缓存；4) 继续进行后续token的生成。

关键创新：LookaheadKV的关键创新在于它能够在不进行显式草稿生成的情况下，准确预测未来token的重要性。这通过训练参数高效的模块来实现，这些模块能够学习到token之间的依赖关系，并预测其对未来生成的影响。与现有方法相比，LookaheadKV避免了草稿生成带来的计算开销，同时实现了更高的淘汰精度。

关键设计：LookaheadKV的关键设计包括：1) 参数高效模块的选择：论文可能采用了轻量级的神经网络结构，例如线性层或少量Transformer层，以减少计算开销；2) 损失函数的设计：损失函数可能包括预测的重要性分数与真实重要性分数之间的差异，以及一些正则化项，以防止过拟合；3) 训练数据的生成：训练数据可能通过对现有数据集进行采样和标注来生成，标注过程可能涉及对模型生成的token进行重要性评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LookaheadKV在长上下文理解任务中优于现有的KV缓存淘汰方法。与需要草稿生成的方法相比，LookaheadKV将淘汰成本降低了高达14.5倍，同时实现了更高的精度。具体而言，LookaheadKV在各种长文本基准测试中取得了state-of-the-art的结果，并显著加快了首个token生成时间。

🎯 应用场景

LookaheadKV适用于需要处理长文本的各种应用场景，例如长文档摘要、机器翻译、对话生成等。通过降低KV缓存的内存占用，LookaheadKV可以提高LLM在资源受限设备上的部署能力，并加速长文本推理过程，具有重要的实际应用价值和商业潜力。

📄 摘要（原文）

Transformer-based large language models (LLMs) rely on key-value (KV) caching to avoid redundant computation during autoregressive inference. While this mechanism greatly improves efficiency, the cache size grows linearly with the input sequence length, quickly becoming a bottleneck for long-context tasks. Existing solutions mitigate this problem by evicting prompt KV that are deemed unimportant, guided by estimated importance scores. Notably, a recent line of work proposes to improve eviction quality by "glimpsing into the future", in which a draft generator produces a surrogate future response approximating the target model's true response, and this surrogate is subsequently used to estimate the importance of cached KV more accurately. However, these approaches rely on computationally expensive draft generation, which introduces substantial prefilling overhead and limits their practicality in real-world deployment. To address this challenge, we propose LookaheadKV, a lightweight eviction framework that leverages the strength of surrogate future response without requiring explicit draft generation. LookaheadKV augments transformer layers with parameter-efficient modules trained to predict true importance scores with high accuracy. Our design ensures negligible runtime overhead comparable to existing inexpensive heuristics, while achieving accuracy superior to more costly approximation methods. Extensive experiments on long-context understanding benchmarks, across a wide range of models, demonstrate that our method not only outperforms recent competitive baselines in various long-context understanding tasks, but also reduces the eviction cost by up to 14.5x, leading to significantly faster time-to-first-token. Our code is available at https://github.com/SamsungLabs/LookaheadKV.