Conveyor: Efficient Tool-aware LLM Serving with Tool Partial Execution

📄 arXiv: 2406.00059v2 📥 PDF

作者: Yechen Xu, Xinhao Kong, Tingjun Chen, Danyang Zhuo

分类: cs.CL, cs.DC, cs.LG

发布日期: 2024-05-29 (更新: 2024-06-04)

备注: 11 pages, 8 figures

💡 一句话要点

Conveyor：通过工具部分执行提升LLM服务效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM服务 工具调用 部分执行 请求调度 性能优化

📋 核心要点

  1. 现有LLM服务在处理涉及外部工具调用的请求时效率较低，成为性能瓶颈。
  2. Conveyor通过允许工具部分执行与LLM解码并行进行，从而优化服务效率。
  3. 实验结果表明，Conveyor能够显著降低请求完成延迟，最高可达38.8%。

📝 摘要（中文）

由于与外部工具调用（如ChatGPT插件）的集成，大型语言模型（LLM）服务工作负载的复杂性显著增加。本文发现了一个提高触发工具请求的LLM服务效率的新机会：与LLM解码并行进行工具的部分执行。为此，我们设计了Conveyor，一个针对处理涉及外部工具的请求进行优化的高效LLM服务系统。我们为工具开发者引入了一个新颖的接口，以便向LLM服务系统暴露部分执行的机会，并设计了一个促进工具部分执行的请求调度器。结果表明，工具部分执行可以将请求完成延迟最多提高38.8%。

🔬 方法详解

问题定义：论文旨在解决LLM服务中，当请求需要调用外部工具时，整体服务效率降低的问题。现有的LLM服务系统通常在LLM生成完整回复后才开始执行工具调用，导致延迟较高，用户体验不佳。

核心思路：论文的核心思路是允许工具进行部分执行，即在LLM解码的同时，工具可以并行执行部分任务。通过暴露工具的部分执行接口，LLM服务系统可以更灵活地调度工具的执行，从而减少整体请求完成时间。

技术框架：Conveyor系统包含以下主要模块：1) 工具接口：允许工具开发者暴露部分执行的机会。2) 请求调度器：负责调度LLM解码和工具的部分执行，以最大化并行性。3) LLM服务引擎：负责LLM的解码和生成。整体流程是，当接收到需要调用工具的请求时，请求调度器会根据工具接口的定义，在LLM解码的同时，启动工具的部分执行。LLM解码完成后，工具继续执行剩余部分，最终完成整个请求。

关键创新：最重要的技术创新点在于工具部分执行的接口设计和请求调度策略。传统方法中，工具的执行是完全串行的，而Conveyor允许工具开发者定义哪些部分可以并行执行，从而提高了整体效率。请求调度器则根据工具的执行状态和LLM的解码进度，动态地调整调度策略，以实现最佳的并行效果。

关键设计：工具接口的设计需要考虑如何将工具分解成可并行执行的部分，以及如何定义这些部分的输入和输出。请求调度器的设计需要考虑如何平衡LLM解码和工具执行的资源分配，以及如何避免死锁和资源竞争。具体的参数设置和损失函数未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Conveyor系统能够显著降低请求完成延迟，最高可达38.8%。这一提升主要来自于工具部分执行带来的并行性。Conveyor在不同工具和LLM配置下均表现出良好的性能提升，证明了其通用性和有效性。

🎯 应用场景

该研究成果可应用于各种需要LLM与外部工具集成的场景，例如智能助手、自动化工作流、以及需要访问外部数据的LLM应用。通过提高LLM服务的效率，可以改善用户体验，降低服务成本，并促进LLM在更广泛领域的应用。

📄 摘要（原文）

The complexity of large language model (LLM) serving workloads has substantially increased due to the integration with external tool invocations, such as ChatGPT plugins. In this paper, we identify a new opportunity for efficient LLM serving for requests that trigger tools: tool partial execution alongside LLM decoding. To this end, we design Conveyor, an efficient LLM serving system optimized for handling requests involving external tools. We introduce a novel interface for tool developers to expose partial execution opportunities to the LLM serving system and a request scheduler that facilitates partial tool execution. Our results demonstrate that tool partial execution can improve request completion latency by up to 38.8%.