ALISE: Accelerating Large Language Model Serving with Speculative Scheduling

📄 arXiv: 2410.23537v1 📥 PDF

作者: Youpeng Zhao, Jun Wang

分类: cs.PF, cs.AI

发布日期: 2024-10-31

备注: ICCAD 2024

💡 一句话要点

ALISE：通过推测调度加速大型语言模型服务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LLM推理服务 推测调度 优先级调度 内存管理

📋 核心要点

  1. 现有LLM服务系统采用FCFS调度，易受队头阻塞影响，导致长作业响应时间，无法满足低延迟和高吞吐需求。
  2. ALISE通过推测调度，估计作业执行时间并据此分配优先级，减少异构工作负载的排队延迟。
  3. ALISE还采用基于优先级的自适应内存管理和量化压缩技术，降低KV缓存的内存开销，实验表明吞吐量提升显著。

📝 摘要（中文）

大型语言模型（LLM）代表了当代通用人工智能（AGI）领域的一项革命性进步。以ChatGPT为例，基于LLM的应用程序需要最小的响应延迟和最大的推理服务吞吐量。然而，由于LLM执行的不可预测性，当前LLM服务系统采用的先来先服务（FCFS）调度策略存在队头阻塞（HoL）问题和较长的作业响应时间。本文提出了一种新的高效LLM推理服务框架，名为ALISE。ALISE的关键设计范式是通过估计每个作业的执行时间并利用这些先验知识来分配适当的作业优先级顺序，从而最大限度地减少异构工作负载的潜在排队延迟。此外，为了减轻中间键值（KV）缓存的内存开销，我们采用了一种基于优先级的自适应内存管理协议和基于量化的压缩技术。评估表明，与最先进的解决方案vLLM相比，在相同的延迟约束下，ALISE在Alpaca和ShareGPT数据集上分别将推理服务的吞吐量提高了高达1.8倍和2.1倍。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）推理服务中，由于LLM执行时间的不确定性，使用先来先服务（FCFS）调度策略导致的队头阻塞（Head-of-Line, HoL）问题，从而影响整体吞吐量和作业响应时间。现有方法的痛点在于无法有效区分不同作业的执行时间，导致短作业被长作业阻塞，降低了资源利用率和用户体验。

核心思路：ALISE的核心思路是引入推测调度，即在作业执行前，通过某种方式估计其执行时间，并根据估计的执行时间赋予作业不同的优先级。这样，系统可以优先处理预计执行时间较短的作业，从而减少队头阻塞，提高整体吞吐量和降低平均响应时间。这种设计类似于操作系统中的短作业优先调度算法，但需要解决LLM执行时间难以准确预测的问题。

技术框架：ALISE的整体框架包含以下几个主要模块：1) 推测调度器：负责估计每个作业的执行时间，并根据估计结果分配优先级。2) 作业队列：存储待执行的作业，并按照优先级进行排序。3) 推理引擎：执行具体的LLM推理任务。4) 内存管理器：负责管理KV缓存，并采用优先级自适应的策略进行内存分配和回收。5) 压缩模块：使用量化技术压缩KV缓存，降低内存占用。整个流程是：作业进入系统后，推测调度器估计其执行时间，然后将作业插入到作业队列中，推理引擎从队列中取出优先级最高的作业执行，内存管理器负责KV缓存的管理和优化。

关键创新：ALISE的关键创新在于其推测调度策略和优先级自适应的内存管理。推测调度通过估计作业执行时间来优化调度顺序，这与传统的FCFS调度有本质区别。优先级自适应的内存管理则根据作业的优先级动态调整KV缓存的分配，保证高优先级作业的性能。此外，量化压缩技术进一步降低了内存开销。

关键设计：关于推测调度器的具体实现细节未知，论文可能使用了某种模型或启发式方法来估计作业的执行时间。优先级自适应内存管理协议的具体实现细节也未知，可能涉及到根据作业优先级动态调整缓存大小或替换策略。量化压缩技术可能采用了某种低比特量化方法，例如INT8或FP16，以降低KV缓存的内存占用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与最先进的LLM服务框架vLLM相比，ALISE在Alpaca和ShareGPT数据集上，在相同的延迟约束下，分别将推理服务的吞吐量提高了高达1.8倍和2.1倍。这表明ALISE的推测调度和内存管理策略能够有效提升LLM推理服务的性能。

🎯 应用场景

ALISE适用于对延迟敏感且需要高吞吐量的LLM推理服务场景，例如在线聊天机器人、智能客服、实时翻译等。通过优化调度和内存管理，ALISE可以显著提升LLM服务的性能和用户体验，降低部署成本，并为更广泛的LLM应用提供技术支持。未来，该技术有望应用于边缘计算设备，实现低延迟的本地LLM推理。

📄 摘要（原文）

Large Language Models (LLMs) represent a revolutionary advancement in the contemporary landscape of artificial general intelligence (AGI). As exemplified by ChatGPT, LLM-based applications necessitate minimal response latency and maximal throughput for inference serving. However, due to the unpredictability of LLM execution, the first-come-first-serve (FCFS) scheduling policy employed by current LLM serving systems suffers from head-of-line (HoL) blocking issues and long job response times. In this paper, we propose a new efficient LLM inference serving framework, named ALISE. The key design paradigm of ALISE is to leverage a novel speculative scheduler by estimating the execution time for each job and exploiting such prior knowledge to assign appropriate job priority orders, thus minimizing potential queuing delays for heterogeneous workloads. Furthermore, to mitigate the memory overhead of the intermediate key-value (KV) cache, we employ a priority-based adaptive memory management protocol and quantization-based compression techniques. Evaluations demonstrate that in comparison to the state-of-the-art solution vLLM, ALISE improves the throughput of inference serving by up to 1.8x and 2.1x under the same latency constraint on the Alpaca and ShareGPT datasets, respectively.