InstCache: A Predictive Cache for LLM Serving
作者: Longwei Zou, Yan Liu, Jiamu Kang, Tingfeng Liu, Jiangang Kong, Yangdong Deng
分类: cs.CL, cs.DC
发布日期: 2024-11-21 (更新: 2025-07-14)
💡 一句话要点
InstCache：一种用于LLM服务的预测性缓存机制，提升指令缓存命中率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: LLM服务 指令缓存 预测缓存 空间局部性 缓存命中率
📋 核心要点
- 现有指令级缓存因指令内容和长度的高度可变性，导致命中率低，无法有效利用。
- InstCache利用LLM重新排序指令文本的表示空间，形成空间局部性，从而预测潜在指令。
- 实验表明，InstCache在WildChat数据集上命中率提升2.3倍，并显著降低了vLLM的token输出时间。
📝 摘要（中文）
大型语言模型（LLM）的革命性能力正吸引着快速增长的普及度，并导致推理服务系统面临激增的用户请求。缓存技术利用数据重用来减少计算，为优化LLM推理引擎的性能提供了机会。一方面，token级别的底层键值（KV）缓存被广泛采用，但随着请求量的增长，它会产生显著的开销。另一方面，存储完整指令-响应对的指令级缓存预计将发挥越来越关键的作用。然而，指令内容和长度的高度可变性使得在短时间内重复出现完全相同的指令变得罕见，这对有效缓存指令-响应对提出了挑战。为了解决这个挑战，我们提出了InstCache，一种用于LLM服务系统的预测性缓存机制。利用LLM的能力，我们可以有效地重新排序指令文本的表示空间，并开发出足够水平的空间局部性。这种空间局部性使我们能够预测空间中紧凑区域内的潜在指令，从而在运行时实现有效的缓存系统。实验结果表明，与WildChat数据集上传统缓存机制的上限相比，InstCache实现了2.3倍更高的命中率，并在LMSys和Moss数据集上分别将vLLM的每个输出token的时间减少了高达42.0%和50.0%。
🔬 方法详解
问题定义：论文旨在解决LLM服务中指令级缓存命中率低的问题。现有方法由于指令的多样性和长度变化，难以在短时间内重复利用缓存，导致缓存效率低下，无法充分发挥其降低计算成本的优势。
核心思路：InstCache的核心思路是利用LLM的能力，将语义相似的指令在表示空间中聚集在一起，形成空间局部性。这样，即使指令不完全相同，也能通过预测机制找到相似的指令并命中缓存。这种方法旨在克服指令多样性带来的挑战，提高缓存的有效性。
技术框架：InstCache的整体框架包含以下几个主要阶段：1) 指令编码：使用LLM对输入的指令进行编码，将其映射到高维表示空间。2) 空间重排：利用LLM的能力，对指令的表示空间进行重新排序，使得语义相似的指令在空间上更加接近。3) 预测机制：基于空间局部性，预测接下来可能出现的指令，并将其预加载到缓存中。4) 缓存管理：维护缓存的更新和替换策略，保证缓存的有效性和效率。
关键创新：InstCache最重要的创新点在于利用LLM进行指令表示空间的重排，从而实现空间局部性。与传统的缓存方法相比，InstCache不再依赖于完全相同的指令重复出现，而是通过预测相似指令来提高命中率。这种基于语义相似性的缓存机制能够更好地适应LLM服务中指令多样性的特点。
关键设计：InstCache的关键设计包括：1) 使用预训练的LLM（例如BERT或GPT）作为指令编码器，以获得高质量的指令表示。2) 设计合适的空间重排算法，例如基于聚类或降维的方法，将语义相似的指令聚集在一起。3) 实现高效的预测机制，例如基于最近邻搜索或局部敏感哈希（LSH）的方法，快速找到相似的指令。4) 采用合适的缓存替换策略，例如LRU或LFU，保证缓存的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InstCache在WildChat数据集上实现了2.3倍于传统缓存机制上限的命中率。在LMSys和Moss数据集上，InstCache分别将vLLM的每个输出token的时间减少了高达42.0%和50.0%。这些结果表明，InstCache能够显著提高LLM服务的性能和效率。
🎯 应用场景
InstCache可应用于各种LLM服务场景，例如在线问答、文本生成、代码补全等。通过提高缓存命中率，InstCache能够显著降低LLM推理的计算成本和延迟，提升用户体验。该研究对于构建高效、可扩展的LLM服务系统具有重要的实际价值，并为未来LLM缓存技术的发展提供了新的思路。
📄 摘要（原文）
The revolutionary capabilities of Large Language Models (LLMs) are attracting rapidly growing popularity and leading to soaring user requests to inference serving systems. Caching techniques, which leverage data reuse to reduce computation, offer opportunities to optimize the performance of LLM inference engines. On the one hand, the low-level key-value (KV) cache working at the token level is widely adopted, albeit it incurs significant overhead as request volume grows. On the other hand, instruction-level caching, which stores full instruction-response pairs, is expected to play an increasingly crucial role. However, the high variability in the content and length of instructions make it rare for identical instructions to recur within a short time window, presenting challenges for effective caching instruction-response pairs. To address this challenge, we propose InstCache, a predictive caching mechanism for LLM serving systems. Leveraging the capability of LLMs, we can effectively reorder the representation space of instruction texts and develop a sufficient level of spatial locality. Such spatial locality enables us to predict potential instructions located in a compact region in the space, resulting in an effective caching system at runtime. Experimental results demonstrate that InstCache achieves a 2.3x higher hit rate compared to the upper bound of traditional caching mechanisms on WildChat dataset and reduces the time per output token of vLLM by up to 42.0% and 50.0% on LMSys and Moss datasets, respectively.