Rethinking Caching for LLM Serving Systems: Beyond Traditional Heuristics

📄 arXiv: 2508.18736v1 📥 PDF

作者: Jungwoo Kim, Minsang Kim, Jaeheon Lee, Chanwoo Moon, Heejin Kim, Taeho Hwang, Woosuk Chung, Yeseong Kim, Sungjin Lee

分类: cs.DB, cs.LG

发布日期: 2025-08-26

💡 一句话要点

提出SISO以优化大语言模型服务系统中的缓存策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 缓存策略 语义缓存 服务水平目标 动态调整 性能优化 计算效率

📋 核心要点

  1. 现有的缓存策略在处理大语言模型服务时未能有效利用查询的语义信息，导致性能不足。
  2. 本文提出SISO，通过中心点缓存、局部感知替换和动态阈值调整，重新定义了LLM服务的缓存效率。
  3. 实验表明，SISO在多种数据集上实现了高达1.71倍的命中率提升，并在SLO达成方面表现更优。

📝 摘要（中文）

在大规模服务大语言模型（LLMs）时，需要在严格的服务水平目标（SLOs）下满足计算和内存的限制。然而，传统的缓存策略存在不足：精确匹配和前缀缓存忽视了查询语义，而最先进的语义缓存仍然局限于传统直觉，缺乏概念上的突破。基于此，本文提出了SISO，一个重新定义LLM服务效率的语义缓存系统。SISO引入了基于中心点的缓存，以最小内存最大化覆盖，局部感知替换以保留高价值条目，以及动态阈值调整以平衡不同工作负载下的准确性和延迟。实验结果表明，SISO在多种数据集上实现了高达1.71倍的命中率提升，并且在SLO达成方面表现出更强的稳定性。

🔬 方法详解

问题定义：本文旨在解决在大语言模型服务中，传统缓存策略无法有效利用查询语义，导致性能和资源利用率低下的问题。现有的精确匹配和前缀缓存策略未能考虑查询的深层语义，限制了缓存的有效性。

核心思路：SISO的核心思路是通过引入基于中心点的缓存策略，结合局部感知替换和动态阈值调整，来提升缓存的覆盖率和命中率，同时在内存使用上保持高效。这样的设计旨在更好地适应不同工作负载下的性能需求。

技术框架：SISO的整体架构包括三个主要模块：中心点缓存模块、局部感知替换模块和动态阈值调整模块。中心点缓存负责存储和管理缓存条目，局部感知替换确保高价值条目的保留，而动态阈值调整则根据实时负载情况优化缓存策略。

关键创新：SISO的关键创新在于其中心点缓存策略和动态阈值调整机制，这与传统的缓存方法有本质区别。传统方法往往依赖于静态规则，而SISO通过动态调整来适应不同的查询模式和负载变化。

关键设计：在设计中，SISO采用了基于查询语义的中心点选择算法，并结合了局部感知的替换策略，以确保高命中率。此外，动态阈值的设置依据实时性能反馈进行调整，以平衡准确性和延迟。具体的参数设置和算法细节在实验部分进行了详细描述。

📊 实验亮点

实验结果显示，SISO在多种数据集上实现了高达1.71倍的命中率提升，相较于最先进的系统在服务水平目标（SLO）达成方面表现出更强的稳定性。这一成果表明SISO在大语言模型服务中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括大规模在线服务、智能客服系统和实时数据处理等。通过优化缓存策略，SISO能够有效提升系统的响应速度和资源利用率，具有显著的实际价值和广泛的应用前景。未来，随着大语言模型的普及，SISO的设计理念可能会在更多相关领域得到应用。

📄 摘要（原文）

Serving Large Language Models (LLMs) at scale requires meeting strict Service Level Objectives (SLOs) under severe computational and memory constraints. Nevertheless, traditional caching strategies fall short: exact-matching and prefix caches neglect query semantics, while state-of-the-art semantic caches remain confined to traditional intuitions, offering little conceptual departure. Building on this, we present SISO, a semantic caching system that redefines efficiency for LLM serving. SISO introduces centroid-based caching to maximize coverage with minimal memory, locality-aware replacement to preserve high-value entries, and dynamic thresholding to balance accuracy and latency under varying workloads. Across diverse datasets, SISO delivers up to 1.71$\times$ higher hit ratios and consistently stronger SLO attainment compared to state-of-the-art systems.