SCALM: Towards Semantic Caching for Automated Chat Services with Large Language Models

📄 arXiv: 2406.00025v1 📥 PDF

作者: Jiaxing Li, Chi Xu, Feng Wang, Isaac M von Riedemann, Cong Zhang, Jiangchuan Liu

分类: cs.CL, cs.AI

发布日期: 2024-05-24

💡 一句话要点

提出SCALM，通过语义缓存提升LLM聊天服务的效率与降低成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语义缓存 聊天服务 缓存命中率 token节省

📋 核心要点

  1. 现有LLM聊天服务的缓存方法未能有效利用查询的语义信息，导致缓存效率低下，增加了token使用成本。
  2. SCALM通过语义分析识别重要的缓存条目和模式，并设计了相应的缓存存储和驱逐策略，从而提升缓存性能。
  3. 实验表明，SCALM显著提高了缓存命中率，并降低了LLM聊天服务的运营成本，优于现有方法。

📝 摘要（中文）

大型语言模型（LLM）日益普及，正在改变各个领域的应用。然而，LLM查询缓存系统在实际应用中的有效性尚未得到充分研究。本文首次对真实的人与LLM交互数据进行了分析，揭示了现有基于LLM的聊天服务缓存解决方案的关键挑战。研究结果表明，当前的缓存方法未能充分利用语义连接，导致缓存效率低下和额外的token成本。为了解决这些问题，我们提出了一种新的缓存架构SCALM，它强调语义分析，识别重要的缓存条目和模式。我们还详细介绍了相应缓存存储和驱逐策略的实现。评估结果表明，SCALM提高了LLMChat服务的缓存命中率并降低了运营成本。与GPTCache中的其他最先进解决方案相比，SCALM平均而言，缓存命中率相对提高了63%，token节省相对提高了77%。

🔬 方法详解

问题定义：论文旨在解决LLM聊天服务中现有缓存方法效率低下的问题。现有方法主要依赖于精确匹配或简单的相似度计算，无法有效捕捉用户查询的语义信息，导致大量语义相似但字面不同的查询无法命中缓存，造成重复计算和资源浪费。

核心思路：SCALM的核心思路是利用语义分析来识别和缓存具有相似语义的查询，从而提高缓存命中率。通过理解用户查询的意图，SCALM能够将语义相似的查询映射到同一个缓存条目，避免重复计算，降低token成本。

技术框架：SCALM的整体架构包括以下几个主要模块：1) 查询编码器：将用户查询编码成语义向量表示。2) 语义缓存：存储查询的语义向量表示和对应的LLM响应。3) 相似度匹配器：计算新查询与缓存中查询的语义相似度。4) 缓存管理模块：负责缓存条目的存储、驱逐和更新。当接收到新的查询时，首先通过查询编码器将其转换为语义向量，然后与语义缓存中的向量进行相似度匹配。如果相似度超过预设阈值，则直接返回缓存的响应；否则，将查询发送给LLM进行处理，并将结果存入缓存。

关键创新：SCALM的关键创新在于引入了语义分析到LLM聊天服务的缓存机制中。与传统的基于字面匹配的缓存方法不同，SCALM能够理解查询的语义信息，从而更有效地利用缓存，提高缓存命中率。此外，SCALM还设计了专门的缓存存储和驱逐策略，以优化缓存性能。

关键设计：SCALM的关键设计包括：1) 使用预训练的语言模型（如BERT或Sentence-BERT）作为查询编码器，以获得高质量的语义向量表示。2) 设计基于语义相似度的缓存驱逐策略，优先驱逐语义相似度较低的缓存条目。3) 采用自适应的相似度阈值，根据查询的复杂度和LLM的响应时间动态调整阈值，以平衡缓存命中率和计算成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SCALM在缓存命中率和token节省方面均优于现有方法。与GPTCache中的其他最先进解决方案相比，SCALM平均而言，缓存命中率相对提高了63%，token节省相对提高了77%。这些结果验证了SCALM在提升LLM聊天服务效率和降低成本方面的有效性。

🎯 应用场景

SCALM可广泛应用于各种基于LLM的聊天服务，例如智能客服、虚拟助手、教育辅导等。通过提高缓存命中率和降低token成本，SCALM能够显著提升LLM聊天服务的效率和经济性，使其更具实用性和可扩展性。未来，SCALM还可以与其他技术相结合，例如知识图谱、对话管理等，以进一步提升LLM聊天服务的智能化水平。

📄 摘要（原文）

Large Language Models (LLMs) have become increasingly popular, transforming a wide range of applications across various domains. However, the real-world effectiveness of their query cache systems has not been thoroughly investigated. In this work, we for the first time conducted an analysis on real-world human-to-LLM interaction data, identifying key challenges in existing caching solutions for LLM-based chat services. Our findings reveal that current caching methods fail to leverage semantic connections, leading to inefficient cache performance and extra token costs. To address these issues, we propose SCALM, a new cache architecture that emphasizes semantic analysis and identifies significant cache entries and patterns. We also detail the implementations of the corresponding cache storage and eviction strategies. Our evaluations show that SCALM increases cache hit ratios and reduces operational costs for LLMChat services. Compared with other state-of-the-art solutions in GPTCache, SCALM shows, on average, a relative increase of 63% in cache hit ratio and a relative improvement of 77% in tokens savings.