Flow-Controlled Scheduling for LLM Inference with Provable Stability Guarantees

📄 arXiv: 2604.11001v1 📥 PDF

作者: Zhuolun Dong, Junyu Cao

分类: cs.LG

发布日期: 2026-04-13

💡 一句话要点

提出基于流控制的LLM推理调度算法，保证系统稳定性并提升吞吐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LLM推理 流控制 系统稳定性 调度算法

📋 核心要点

  1. LLM推理面临解码长度未知的问题，导致内存占用随生成token增长，易引发系统不稳定。
  2. 论文提出流控制框架，通过控制prompt进入活跃集的速率，保证系统稳定性。
  3. 实验表明，该方法在token和请求吞吐量、平均/尾部延迟以及KV缓存利用率方面优于现有策略。

📝 摘要（中文）

大型语言模型（LLMs）因其在广泛应用中的出色性能而被广泛采用。ChatGPT和Gemini现在为数亿活跃用户提供服务，每天处理数十亿用户请求，这使得优化LLM推理成为焦点。LLM推理的一个关键挑战是解码长度未知。每个请求的内存使用量随着生成的token而增长，这可能导致溢出并导致系统不稳定。为了解决这个问题，我们提出了一个简单的流控制框架，该框架控制提示加入活动集的速率。我们推导了任何稳定系统必须满足的必要条件，并建立了我们的算法可以证明实现稳定性的充分条件。实验表明，与实践中常用的策略相比，我们的方法实现了更高的token和请求吞吐量，更低的平均和尾部延迟，以及更稳定的KV缓存利用率。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）推理过程中，由于解码长度未知导致的系统不稳定问题。具体来说，每个请求的KV缓存大小随着生成token数量增长，当并发请求过多时，可能导致内存溢出，进而影响系统性能甚至崩溃。现有方法缺乏对请求进入系统的速率的有效控制，容易造成资源竞争和系统过载。

核心思路：论文的核心思路是通过引入流控制机制，限制进入活跃请求集合的prompt数量，从而避免系统过载。该方法基于排队论，分析了系统稳定性的必要条件，并设计了满足该条件的流控制算法。通过控制prompt的进入速率，确保系统资源能够满足当前活跃请求的需求，从而保证系统稳定性。

技术框架：论文提出的流控制框架主要包含以下几个模块：1) 请求队列：用于存储等待处理的prompt请求。2) 准入控制器：根据当前系统状态（如KV缓存利用率、活跃请求数量等）决定是否允许新的prompt进入活跃集。3) 活跃请求集：包含正在进行推理的prompt请求。4) LLM推理引擎：负责执行实际的LLM推理计算。准入控制器根据一定的策略（例如，基于令牌桶算法）控制prompt进入活跃请求集的速率。

关键创新：论文的关键创新在于提出了一个基于流控制的LLM推理调度算法，并从理论上证明了该算法的稳定性。与现有方法相比，该算法能够有效地控制系统负载，避免内存溢出，从而保证系统稳定性。此外，该算法还能够提高token和请求吞吐量，降低平均和尾部延迟。

关键设计：论文的关键设计包括：1) 准入控制策略：论文提出了一种基于令牌桶算法的准入控制策略，该策略根据当前系统状态动态调整令牌生成速率，从而控制prompt进入活跃集的速率。2) 稳定性分析：论文基于排队论，推导了系统稳定性的必要条件，并证明了所提出的流控制算法满足该条件。3) 参数设置：论文通过实验分析了不同参数设置对系统性能的影响，并给出了合理的参数选择建议。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与常用的策略相比，该流控制框架在token吞吐量、请求吞吐量、平均延迟和尾部延迟方面均有显著提升。具体来说，该方法能够实现更高的token和请求吞吐量，更低的平均和尾部延迟，以及更稳定的KV缓存利用率。这些结果验证了该方法在实际应用中的有效性。

🎯 应用场景

该研究成果可应用于各种需要大规模LLM推理服务的场景，例如在线聊天机器人、智能客服、内容生成平台等。通过采用该流控制框架，可以有效提高LLM推理系统的稳定性和性能，降低服务延迟，提升用户体验。此外，该研究也为LLM推理系统的资源管理和调度提供了新的思路。

📄 摘要（原文）

Large language models (LLMs) have been widely adopted due to their great performance across a wide range of applications. ChatGPT and Gemini now serve hundreds of millions of active users and handle billions of user requests per day, which puts optimizing LLM inference into the spotlight. A key challenge in LLM inference is that decode lengths are unknown. The memory usage for each request grows with generated tokens, which may lead to overflow and cause system instability. To address this concern, we propose a simple flow-control framework that controls the rate at which prompts join the active set. We derive a necessary condition that any stable system must satisfy and establish sufficient conditions under which our algorithm provably achieves stability. Experiments show that, compared to commonly used strategies in practice, our approach achieves higher token and request throughput, lower average and tail latency, and more stable KV cache utilization.