SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference

📄 arXiv: 2604.21231v1 📥 PDF

作者: Hongyao Liu, Liuqun Zhai, Junyi Wang, Zhengru Fang

分类: cs.NI, cs.AI, cs.PF

发布日期: 2026-04-23

备注: IEEE INTERNET OF THINGS HOURNAL, 11 pages under major revision

💡 一句话要点

SparKV：面向设备端LLM推理的开销感知KV缓存加载框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 设备端LLM KV缓存 云边协同 自适应加载 低延迟推理

📋 核心要点

  1. 设备端LLM推理面临硬件资源限制和预填充阶段高昂的KV缓存构建成本挑战。
  2. SparKV通过云端KV流式传输与设备端计算相结合，自适应地加载KV缓存，降低延迟。
  3. 实验表明，SparKV显著降低了首个token生成时间，并降低了能耗，同时保证了响应质量。

📝 摘要（中文）

由于硬件资源有限以及预填充阶段的高成本（该阶段处理完整的输入上下文以构建键值（KV）缓存），设备端大型语言模型（LLM）的高效推理仍然具有挑战性。我们提出了SparKV，一个自适应的KV加载框架，它结合了基于云的KV流式传输和设备端计算。SparKV对各个KV块的成本进行建模，并决定每个块应该流式传输还是在本地计算，同时重叠两个执行路径以减少延迟。为了处理无线连接和边缘资源可用性的波动，SparKV进一步在运行时细化离线生成的调度，以重新平衡通信和计算成本。在不同的数据集、LLM和边缘设备上的实验表明，SparKV将首个token生成时间（Time-to-First-Token）减少了1.3倍-5.1倍，而对响应质量的影响可以忽略不计，同时每个请求的能耗降低了1.5倍至3.3倍，证明了其在实际设备端部署中的鲁棒性和实用性。

🔬 方法详解

问题定义：设备端LLM推理受限于边缘设备的计算能力和内存资源，预填充阶段需要构建庞大的KV缓存，导致延迟高、能耗大。现有方法要么完全依赖本地计算，要么完全依赖云端传输，无法充分利用云边协同的优势，并且难以适应无线网络波动和边缘资源变化。

核心思路：SparKV的核心思想是根据KV缓存块的计算和传输成本，自适应地决定每个块是在云端流式传输还是在本地计算。通过对计算和通信开销进行建模，并结合离线调度和运行时调整，实现通信和计算的平衡，从而最小化总体延迟和能耗。

技术框架：SparKV包含离线调度和运行时调整两个主要阶段。离线调度阶段，SparKV根据设备性能、网络状况和模型参数，预先生成KV缓存块的加载策略。运行时调整阶段，SparKV根据实际的网络带宽和设备资源，动态调整加载策略，以应对波动。整体流程包括：输入文本 -> 离线调度 -> KV缓存块决策（云端/本地）-> 并行执行（云端流式传输 & 本地计算）-> KV缓存构建 -> 推理。

关键创新：SparKV的关键创新在于开销感知的自适应KV缓存加载策略。它不同于传统的静态加载策略，能够根据实际情况动态调整，充分利用云边协同的优势。此外，SparKV通过对计算和通信开销进行建模，实现了更精确的资源分配和调度。

关键设计：SparKV的关键设计包括：1) KV缓存块的划分策略，影响计算和传输的粒度；2) 开销模型的设计，需要准确估计计算和通信的成本；3) 运行时调整策略，需要快速响应网络和资源的变化。具体的参数设置和损失函数在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SparKV在多种数据集、LLM和边缘设备上均表现出色。与现有方法相比，SparKV将首个token生成时间降低了1.3倍-5.1倍，同时每个请求的能耗降低了1.5倍至3.3倍，而对响应质量的影响可以忽略不计。这些数据充分证明了SparKV的有效性和实用性。

🎯 应用场景

SparKV适用于各种设备端LLM应用场景，例如智能助手、离线翻译、智能家居等。通过降低延迟和能耗，SparKV可以提升用户体验，并延长设备续航时间。该研究对于推动LLM在资源受限设备上的普及具有重要意义，并为云边协同推理提供了新的思路。

📄 摘要（原文）

Efficient inference for on-device Large Language Models (LLMs) remains challenging due to limited hardware resources and the high cost of the prefill stage, which processes the full input context to construct Key-Value (KV) caches. We present SparKV, an adaptive KV loading framework that combines cloud-based KV streaming with on-device computation. SparKV models the cost of individual KV chunks and decides whether each chunk should be streamed or computed locally, while overlapping the two execution paths to reduce latency. To handle fluctuations in wireless connectivity and edge resource availability, SparKV further refines offline-generated schedules at runtime to rebalance communication and computation costs. Experiments across diverse datasets, LLMs, and edge devices show that SparKV reduces Time-to-First-Token by 1.3$x-5.1x with negligible impact on response quality, while lowering per-request energy consumption by 1.5x to 3.3x, demonstrating its robustness and practicality for real-world on-device deployment.