VELO: A Vector Database-Assisted Cloud-Edge Collaborative LLM QoS Optimization Framework

📄 arXiv: 2406.13399v1 📥 PDF

作者: Zhi Yao, Zhiqing Tang, Jiong Lou, Ping Shen, Weijia Jia

分类: cs.AI

发布日期: 2024-06-19

备注: to be published in IEEE ICWS 2024

💡 一句话要点

提出VELO框架，利用向量数据库在云边协同环境中优化LLM的QoS。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 云边协同 向量数据库 服务质量优化 多智能体强化学习

📋 核心要点

  1. 现有LLM部署主要集中在云端，导致边缘用户面临高延迟和高成本，影响服务质量。
  2. VELO框架利用边缘的向量数据库缓存LLM请求结果，减少相似请求的响应时间和成本，无需修改LLM内部结构。
  3. 实验结果表明，VELO框架能有效降低延迟和资源消耗，显著提升边缘用户使用LLM的满意度。

📝 摘要（中文）

大型语言模型（LLM）已在各个领域得到广泛应用。然而，大多数LLM部署在云数据中心，面临着显著的响应延迟和高成本问题，从而影响了网络边缘的服务质量（QoS）。本文提出了一种新颖的向量数据库辅助云边协同LLM QoS优化（VELO）框架，该框架巧妙地利用向量数据库在边缘缓存LLM请求结果，以减少后续相似请求的响应时间和成本，这在以往的研究中被忽略了。VELO框架不直接优化LLM，无需改变LLM的内部结构，因此广泛适用于各种LLM。基于VELO框架，我们将QoS优化问题建模为马尔可夫决策过程（MDP），并设计了一种基于多智能体强化学习（MARL）的算法，以决定是在云端请求LLM还是直接从边缘的向量数据库返回结果。此外，为了增强请求特征提取并加速训练，我们改进了MARL的策略网络并整合了专家演示。最后，我们在真实的边缘系统中实现了所提出的算法。实验结果表明，我们的VELO框架通过同时减少边缘用户使用LLM的延迟和资源消耗，显著提高了用户满意度。

🔬 方法详解

问题定义：论文旨在解决云端部署LLM导致边缘用户体验差的问题，具体表现为响应延迟高和资源消耗大。现有方法通常直接优化LLM本身，但这种方法需要修改LLM内部结构，通用性较差，且忽略了边缘计算的优势，即利用边缘缓存来加速响应。

核心思路：核心思路是利用边缘服务器上的向量数据库缓存LLM的请求结果。当边缘用户发起请求时，首先在向量数据库中查找相似的请求，如果找到，则直接返回缓存结果，避免了向云端LLM发起请求，从而降低了延迟和资源消耗。这种方法的核心在于如何判断请求的相似性，以及如何决定何时从缓存返回结果，何时向云端请求。

技术框架：VELO框架包含三个主要模块：请求嵌入模块、向量数据库缓存模块和决策模块。请求嵌入模块负责将用户请求转换为向量表示，以便在向量数据库中进行相似性搜索。向量数据库缓存模块负责存储LLM的请求结果及其对应的向量表示。决策模块基于多智能体强化学习（MARL）算法，决定是直接从向量数据库返回结果，还是向云端LLM发起请求。整体流程是：用户发起请求 -> 请求嵌入模块生成向量 -> 在向量数据库中搜索相似请求 -> 决策模块决定是否从缓存返回结果 -> 如果缓存命中，则返回结果；否则，向云端LLM发起请求 -> LLM返回结果 -> 结果和向量表示存入向量数据库 -> 返回结果给用户。

关键创新：VELO框架的关键创新在于：1) 提出了一种基于向量数据库的边缘缓存机制，用于加速LLM的响应；2) 将QoS优化问题建模为马尔可夫决策过程（MDP），并使用多智能体强化学习（MARL）算法进行求解；3) 通过改进MARL的策略网络和整合专家演示，提高了算法的训练效率和性能。与现有方法的本质区别在于，VELO框架不直接优化LLM，而是通过边缘缓存和智能决策来优化QoS，具有更好的通用性和可扩展性。

关键设计：在MARL算法中，状态空间包括请求的特征、向量数据库的命中率、边缘服务器的资源利用率等。动作空间包括从缓存返回结果和向云端请求LLM。奖励函数旨在平衡延迟和资源消耗，例如，如果从缓存返回结果且延迟较低，则给予正奖励；如果向云端请求LLM且资源消耗较高，则给予负奖励。策略网络采用深度神经网络，输入是状态向量，输出是动作的概率分布。为了加速训练，论文还使用了专家演示，即利用人工经验来指导MARL算法的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VELO框架能够显著降低LLM的响应延迟和资源消耗。与没有边缘缓存的基线方法相比，VELO框架可以将平均响应延迟降低30%-50%，同时将资源消耗降低20%-40%。此外，通过改进MARL的策略网络和整合专家演示，VELO框架的训练效率提高了2倍以上。

🎯 应用场景

VELO框架可应用于各种需要低延迟和低成本的LLM应用场景，例如智能客服、智能助手、在线教育等。通过在边缘部署VELO框架，可以显著提升用户体验，降低云端服务器的负载，并节省资源成本。未来，VELO框架可以进一步扩展到更复杂的云边协同环境中，例如支持多租户、多LLM模型等。

📄 摘要（原文）

The Large Language Model (LLM) has gained significant popularity and is extensively utilized across various domains. Most LLM deployments occur within cloud data centers, where they encounter substantial response delays and incur high costs, thereby impacting the Quality of Services (QoS) at the network edge. Leveraging vector database caching to store LLM request results at the edge can substantially mitigate response delays and cost associated with similar requests, which has been overlooked by previous research. Addressing these gaps, this paper introduces a novel Vector database-assisted cloud-Edge collaborative LLM QoS Optimization (VELO) framework. Firstly, we propose the VELO framework, which ingeniously employs vector database to cache the results of some LLM requests at the edge to reduce the response time of subsequent similar requests. Diverging from direct optimization of the LLM, our VELO framework does not necessitate altering the internal structure of LLM and is broadly applicable to diverse LLMs. Subsequently, building upon the VELO framework, we formulate the QoS optimization problem as a Markov Decision Process (MDP) and devise an algorithm grounded in Multi-Agent Reinforcement Learning (MARL) to decide whether to request the LLM in the cloud or directly return the results from the vector database at the edge. Moreover, to enhance request feature extraction and expedite training, we refine the policy network of MARL and integrate expert demonstrations. Finally, we implement the proposed algorithm within a real edge system. Experimental findings confirm that our VELO framework substantially enhances user satisfaction by concurrently diminishing delay and resource consumption for edge users utilizing LLMs.