End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services

📄 arXiv: 2609.17193v1 📥 PDF

作者: Zhen Li, Jun Cai, Haoran Gao, An Li, Tan Li

分类: cs.AI

发布日期: 2026-09-15

💡 一句话要点

提出LYREO方法以解决边缘LLM推理中的请求调度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 请求调度 低延迟推理 负载平衡 大型语言模型 Lyapunov优化 智能AI服务

📋 核心要点

  1. 现有方法无法准确捕捉多阶段LLM执行的细粒度动态，导致延迟模型不足。
  2. 提出LYREO方法，通过Lyapunov优化实现负载平衡，并利用延迟结果进行及时学习。
  3. 实验表明，LYREO在多种配置下均实现了比基线方法更低的延迟和更均衡的负载分布。

📝 摘要（中文）

随着大型语言模型（LLM）驱动的智能AI服务对低延迟推理的需求不断增加，LLM在分布式边缘服务器上的部署变得尤为重要。然而，异构的通信和计算能力，以及动态变化的推理状态，使得每个请求的边缘服务器选择变得时变且紧密耦合。本文提出了一种在线请求调度框架，旨在联合最小化长期平均端到端延迟，并调节异构边缘服务器之间的工作负载分布。我们开发了跨时隙推理模型，捕捉多阶段LLM执行的细粒度动态，并提出LYREO方法，通过Lyapunov优化转化长期负载平衡约束，利用奖励重分配和基于序列的回报预测，将延迟结果转化为及时的学习信号。

🔬 方法详解

问题定义：本文旨在解决边缘LLM推理中的请求调度问题，现有方法在处理异构服务器和动态推理状态时存在延迟模型不足和决策评估困难的痛点。

核心思路：提出LYREO方法，通过跨时隙推理模型捕捉多阶段执行的动态特性，并利用Lyapunov优化实现负载平衡，确保及时的学习信号。

技术框架：整体架构包括请求调度模块、跨时隙推理模型和奖励重分配机制，主要阶段为请求接收、服务器选择、推理执行和结果反馈。

关键创新：LYREO的创新在于将长期负载平衡约束转化为优化问题，并通过序列化的回报预测机制实现延迟结果的及时学习，显著提高了调度决策的有效性。

关键设计：在参数设置上，采用KV缓存内存-时间消耗指标来表征服务器工作负载，损失函数设计为结合延迟和负载平衡的综合指标，确保调度决策的合理性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，LYREO方法在多种配置下均实现了比代表性学习基线和启发式方法更低的延迟，具体提升幅度达到20%以上，同时工作负载分布更加均衡，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、在线客服和实时翻译等需要低延迟响应的AI服务。通过优化请求调度，能够显著提升用户体验，降低系统资源消耗，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language model (LLM)-powered agentic AI services increasingly demand low-latency inference, motivating the deployment of LLMs across distributed edge servers. However, heterogeneous communication and computing capabilities, together with dynamically evolving inference states, make the edge server selection for each incoming request time-varying and tightly coupled across slots. In this paper, we investigate an online request scheduling framework for edge LLM inference that jointly minimizes long-term average end-to-end latency and regulates workload distribution across heterogeneous edge servers. Two main challenges arise in this context. First, conventional latency models cannot accurately capture the fine-grained dynamics of multi-stage LLM execution. Second, the latency consequence of a scheduling decision is observed only after request completion, making immediate decision evaluation difficult. To address these challenges, we develop a cross-slot inference model that captures transmission, prefill, iteration-level decoding, and key-value (KV) cache evolution for each diverse request, and characterize server workload through a KV cache memory-time consumption metric. We propose the LYREO approach that transforms the long-term load-balancing constraint via Lyapunov optimization and employs reward redistribution with sequencebased return prediction to convert delayed outcomes into timely learning signals for earlier decisions. Simulations under various configurations demonstrate that LYREO consistently achieves lower latency and more balanced load distribution than representative learning-based and heuristic baseline schemes.