TempoKV: Timely Staging of LLM KV Caches for Memory-Semantic Flash

📄 arXiv: 2609.35065v1 📥 PDF

作者: Jay H. Park, Hyungjun Kim, Dong Kim

分类: cs.DC, cs.AI, cs.LG

发布日期: 2026-09-28

💡 一句话要点

提出TempoKV以优化LLM KV缓存的内存管理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 键值缓存 内存管理 SSD存储 性能优化 资源承诺 实时服务

📋 核心要点

  1. 现有的LLM服务中，前缀KV缓存可能超出GPU内存，导致性能瓶颈。
  2. TempoKV通过时间感知的资源承诺机制，优化了KV缓存的管理，提升了内存使用效率。
  3. 实验结果表明，TempoKV在多个模型和缓存比例下，显著降低了请求的延迟和提高了吞吐量。

📝 摘要（中文）

可重用的前缀键值（KV）缓存在大型语言模型（LLM）服务中可能超出GPU内存限制。内存语义闪存层次结构提供了基于SSD的容量，但逻辑KV命中并不一定准备好供GPU检索。需求分阶段会暴露SSD延迟，而立即分阶段则可以在检索开始之前保留快速层容量。本文提出TempoKV，一种时间感知的资源承诺层，分离重用的早期知识与获取分阶段资源的过程。TempoKV在vLLM和LMCache中实现，显著减少了每个请求的受保护快速层字节时间，同时保持了提前分阶段的服务优势。

🔬 方法详解

问题定义：本文解决的是在大型语言模型服务中，前缀KV缓存超出GPU内存限制的问题。现有方法在处理SSD延迟和快速层容量管理时存在不足，导致性能下降。

核心思路：TempoKV的核心思路是通过时间感知的资源承诺机制，将重用知识的早期识别与资源获取分开，从而优化KV缓存的使用效率。

技术框架：TempoKV的整体架构包括记录可重用KV命中的元数据、请求资源承诺以及根据运行时进度和分阶段状态调整承诺。这一过程不改变请求调度。

关键创新：TempoKV的主要创新在于其时间感知的资源承诺机制，能够在运行时动态调整KV的保护状态，与现有的立即分阶段方法相比，显著提高了资源利用率。

关键设计：TempoKV的设计中，关键参数包括运行时估计的检索时间和存储估计的KV驻留时间，确保在可用的保护容量下进行有效的资源承诺。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，TempoKV在与传统的立即分阶段方法相比，减少了63-91%的受保护快速层字节时间，同时在快速层容量从100 GiB降至25 GiB时，输出吞吐量和p95首次令牌时间几乎保持不变。此外，与未修改的LMCache相比，TempoKV在p95 TTFT上提升了最多48.0%，输出吞吐量提升了最多27.8%。

🎯 应用场景

TempoKV的研究成果在大型语言模型的服务中具有广泛的应用潜力，尤其是在需要高效内存管理和快速响应的场景中，如实时翻译、智能客服和内容生成等领域。其优化的缓存管理策略能够提升系统的整体性能和用户体验。

📄 摘要（原文）

Reusable prefix key-value (KV) caches can outgrow GPU memory in large language model (LLM) serving. A memory-semantic flash hierarchy offers SSD-backed capacity with a limited fast tier, but a logical KV hit is not necessarily ready for GPU retrieval. Demand staging exposes SSD latency, whereas immediate staging can reserve fast-tier capacity long before retrieval begins. We present TempoKV, a timing-aware resource-commitment layer that separates early knowledge of reuse from the acquisition of staging resources. It records reusable-KV hits as metadata-only claims and requests commitment when the runtime-estimated time until retrieval falls to the storage-estimated time needed to make KV resident and protected against eviction. These estimates adapt to runtime progress and staging state, while commitment remains subject to available protected capacity. We implement TempoKV in vLLM and LMCache on an SSD-backed CXL memory device without changing request scheduling. Across two models and three prefix cache ratios, TempoKV reduces protected fast-tier byte-time per request by 63-91% versus immediate staging while retaining much of the serving benefit of advance staging. In a fast-tier capacity sweep, output throughput and p95 time to first token (TTFT) remain nearly unchanged as capacity decreases from 100 to 25 GiB. Compared with unmodified LMCache's Device-DAX L1 configuration, TempoKV reduces p95 TTFT by up to 48.0% and increases output throughput by up to 27.8%.