TierKV: Long-Context On-Device LLMs via Predictive Multi-Tier KV Caching

📄 arXiv: 2609.21172v1 📥 PDF

作者: Zhihao Shu, Md Musfiqur Rahman Sanim, Jie Hu, Kun Yuan, Minghai Qin, Gagan Agrawal, Wei Niu

分类: cs.LG, eess.SY

发布日期: 2026-09-18

💡 一句话要点

提出TierKV以解决移动设备长上下文推理的内存瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 移动设备 键值缓存 预测优化 多层缓存 内存管理 性能提升

📋 核心要点

  1. 现有方法在移动设备上处理长上下文时，KV缓存成为主要的内存瓶颈，导致性能下降。
  2. TierKV通过预测未来缓存需求，优化令牌分配，解决了KV缓存的内存占用和访问效率问题。
  3. 在实验中，TierKV在多个模型上实现了预填充吞吐量提高17.6倍，KV缓存占用减少12.5-34%。

📝 摘要（中文）

大型语言模型（LLMs）正逐步迁移到移动设备，以支持文本、图像、视频和音频等多样化的工作负载。这些应用通常需要长上下文，使得键值（KV）缓存成为主要的内存瓶颈。现有方法通过低秩压缩、令牌驱逐或闪存卸载来减少KV缓存占用，但这些方法的重构开销、不可逆的令牌损失或I/O停滞可能抵消节省内存的好处。本文提出了TierKV，一个基于预测多层缓存优化（PMCO）的移动LLM推理框架。PMCO在解码开始前预测未来的缓存需求，并在设备内存和准确性预算下联合分配令牌到精确、低秩和闪存卸载层。该方法保留了对完整上下文的访问，消除了反应性驱逐的循环依赖，并允许在运行时选择层边界和每层秩的封闭形式求解器。实验表明，TierKV在三种移动SoC上的八个文本、视觉和音频模型中，预填充吞吐量提高了最多17.6倍，RAM驻留的KV缓存减少了12.5-34%，在相同内存预算下支持显著更长的上下文，同时仅造成轻微的准确性下降。

🔬 方法详解

问题定义：本文旨在解决移动设备上长上下文推理时KV缓存的内存瓶颈问题。现有方法通过低秩压缩和令牌驱逐等手段减少缓存占用，但往往伴随重构开销和性能损失。

核心思路：TierKV的核心思路是利用预测多层缓存优化（PMCO）技术，在解码前预测未来的缓存需求，从而智能分配令牌到不同的缓存层，避免了传统方法的反应性驱逐问题。

技术框架：TierKV的整体架构包括三个主要模块：预测模块、分配模块和解码模块。预测模块根据预填充的隐藏状态预测未来的缓存需求，分配模块根据设备内存和准确性预算将令牌分配到精确、低秩和闪存卸载层，解码模块则执行实际的推理过程。

关键创新：TierKV的创新点在于其预测性缓存管理策略，消除了传统方法中的循环依赖，允许在运行时动态选择层边界和每层的秩，从而提高了内存利用率和推理效率。

关键设计：在设计中，TierKV采用了封闭形式求解器来确定层边界和秩，并通过优化算法确保在内存和准确性预算内进行高效的令牌分配。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，TierKV在八个不同的文本、视觉和音频模型上实现了预填充吞吐量提高最多17.6倍，RAM驻留的KV缓存减少了12.5-34%。这些结果表明，TierKV在相同内存预算下支持显著更长的上下文，同时仅造成轻微的准确性下降，展示了其在移动设备上的优越性能。

🎯 应用场景

TierKV的研究成果具有广泛的应用潜力，尤其是在移动设备上进行自然语言处理、图像识别和音频分析等任务。通过优化内存使用和提高推理效率，TierKV能够支持更复杂的应用场景，如实时翻译、智能助手和多模态交互，推动移动AI技术的发展。

📄 摘要（原文）

Large language models (LLMs) are moving onto mobile devices for increasingly diverse workloads over text, images, video, and audio. These applications often require long contexts, making the Key-Value (KV) cache a dominant memory bottleneck because it grows linearly with sequence length and is accessed at every decoding step. Prior work reduces KV-cache footprint through low-rank compression, token eviction, or flash offloading, but the resulting reconstruction overhead, irreversible token loss, or I/O stalls can offset the benefit of saving memory. We present TierKV, a mobile LLM inference framework built on Predictive Multi-Tier Cache Optimization (PMCO). Before decoding starts, PMCO predicts future cache demand from prefill hidden states and jointly assigns tokens to exact, low-rank, and flash-offloaded tiers under the device memory and accuracy budgets. This formulation retains access to the full context, removes the circular dependency of reactive eviction, and admits a closed-form solver that selects tier boundaries and per-layer ranks at runtime. Across eight text, vision, and audio models on three mobile SoCs, TierKV improves prefill throughput by up to 17.6x over existing mobile LLM frameworks, reduces RAM-resident KV cache by 12.5-34%, thereby enabling substantially longer contexts under the same memory budget, while incurring only minor accuracy degradation.