SparPR: Runtime KV-Cache Recovery for Resource-Constrained LLM Inference on Consumer Hardware
作者: Jieyun Deng, Keming Hu, Yanghe Liu, Li Feng
分类: cs.CL
发布日期: 2026-10-13
备注: 9 pages, 5 tables, 1 figure
💡 一句话要点
提出SparPR以解决消费硬件上LLM推理的KV缓存问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 KV缓存 稀疏重计算 消费硬件 推理优化 动态预算控制 查询感知选择
📋 核心要点
- 当前在消费硬件上运行大型语言模型时，KV缓存的增长导致内存和带宽迅速耗尽，成为主要瓶颈。
- SparPR通过在线决策机制优化KV缓存的使用，结合查询感知选择、动态预算控制和本地重计算，提升推理效率。
- 实验结果表明，SparPR在不同提示令牌数量下显著降低了延迟，同时提高了吞吐量，完成8k-token工作负载的时间大幅缩短。
📝 摘要（中文）
在消费硬件上运行大型语言模型（LLMs）受到关键值（KV）缓存的瓶颈限制，随着每个解码令牌的增加，缓存迅速耗尽单个消费GPU的内存和带宽。本文提出SparPR（稀疏部分重计算），一种运行时KV缓存恢复机制，无需修改模型权重或进行离线训练。SparPR结合了三种在线决策：查询感知的关键块选择、动态预算控制和按需本地重计算。通过在FlexGen/FlexLLMGen上的实现，SparPR在单个消费笔记本电脑上评估，显著降低了端到端延迟，并在固定缓存预算下保持了较高的准确性。
🔬 方法详解
问题定义：当前在消费硬件上运行大型语言模型时，KV缓存随着解码令牌的增加而迅速增长，导致内存和带宽的耗尽，影响推理性能。现有方法未能有效解决这一问题。
核心思路：SparPR提出了一种运行时KV缓存恢复机制，通过不修改模型权重和不进行离线训练的方式，优化了KV缓存的使用。其核心在于结合查询感知选择、动态预算控制和本地重计算来提升推理效率。
技术框架：SparPR的整体架构包括三个主要模块：1) 查询感知的关键块选择，根据当前查询选择历史块；2) 动态预算控制，估算每个块的复制和重计算成本；3) 按需本地重计算，根据运行时成本比较在稀疏重计算和完全恢复之间切换。
关键创新：SparPR的创新在于其运行时决策机制，能够在不修改模型的情况下，动态调整KV缓存的使用策略，从而显著提高推理效率。这与现有方法的静态缓存管理形成鲜明对比。
关键设计：在实现中，SparPR通过对历史块的评分和当前查询的匹配度进行评估，动态控制保留的块数量，并通过成本感知的方式合并保留块，确保在固定缓存预算下保持高准确性。实验中验证了三种机制的协同作用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SparPR在1k、2k和4k提示令牌下分别降低了31%、52%和63%的端到端延迟，吞吐量提升达到1.4x-2.7x。特别是在8k-token工作负载中，SparPR完成时间为44分钟，而FlexGen基线则超时，显示出显著的性能优势。
🎯 应用场景
SparPR的研究成果在多个领域具有潜在应用价值，尤其是在资源受限的环境中，如个人电脑和移动设备上运行大型语言模型。其高效的KV缓存管理机制能够为实时自然语言处理、对话系统和智能助手等应用提供支持，提升用户体验和系统响应速度。未来，SparPR的技术可以进一步扩展到其他计算密集型任务中，推动边缘计算和消费级AI的发展。
📄 摘要（原文）
Running large language models (LLMs) on consumer hardware is bottlenecked by the key-value (KV) cache, which grows with every decoded token and quickly exhausts the memory and bandwidth of a single consumer GPU. We present SparPR (Sparse Partial Recomputation), a runtime KV-cache recovery mechanism that does not modify model weights and requires no offline training. SparPR couples three online decisions: Query-Aware key-block selection scores historical blocks against the current query; dynamic budget control estimates per-block copy and recompute costs to decide how many blocks to retain; and on-demand local recomputation with cost-aware fallback merges retained blocks into continuous spans and switches between sparse recomputation and full recovery according to a runtime cost comparison. Implemented on FlexGen/FlexLLMGen, SparPR is evaluated on a single consumer laptop (RTX 3070 Ti 8GB, Ryzen 9 6900HX, 16GB RAM). It cuts end-to-end latency by 31%, 52%, and 63% at 1k, 2k, and 4k prompt tokens respectively, with 1.4x-2.7x higher throughput, and completes an 8k-token workload in 44 minutes where the FlexGen baseline times out. Under a fixed cache budget, SparPR retains a Needle Accuracy that stays well above StreamingLLM and H2O at every keep ratio, and ablation studies confirm that the three mechanisms act jointly.