Teola: Towards End-to-End Optimization of LLM-based Applications

📄 arXiv: 2407.00326v3 📥 PDF

作者: Xin Tan, Yimin Jiang, Yitao Yang, Hong Xu

分类: cs.DC, cs.AI, cs.NI

发布日期: 2024-06-29 (更新: 2025-03-31)

🔗 代码/项目: GITHUB

💡 一句话要点

Teola：面向LLM应用端到端优化的新型编排框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM应用优化 端到端编排 细粒度调度 数据流图 任务原语

📋 核心要点

  1. 现有LLM应用优化主要集中在LLM推理本身，忽略了非LLM组件和整体工作流程的优化。
  2. Teola通过细粒度的任务原语编排，将LLM应用的工作流程表示为数据流图，从而暴露更大的优化空间。
  3. 实验结果表明，Teola在多种LLM应用中实现了显著的性能提升，最高可达2.09倍加速。

📝 摘要（中文）

基于大型语言模型（LLM）的应用包含LLM和非LLM组件，两者都会影响端到端延迟。尽管在优化LLM推理方面已投入大量精力，但端到端工作流程优化却被忽视了。现有的框架采用粗粒度的任务模块编排，将优化限制在每个模块内部，导致次优的调度决策。我们提出了一种细粒度的端到端编排方法，它以任务原语作为基本单元，并将每个查询的工作流程表示为原语级别的数据流图。这显著扩展了设计空间，实现了跨不同模块原语的并行化和流水线优化，并增强了调度以提高应用程序级别的性能。我们构建了Teola，这是一个用于LLM应用的新型编排框架，实现了该方案。全面的实验表明，Teola在各种流行的LLM应用中，相比现有系统可实现高达2.09倍的加速。代码已在https://github.com/NetX-lab/Ayo上提供。

🔬 方法详解

问题定义：现有LLM应用优化主要关注LLM模型本身的推理效率，而忽略了整个应用流程中非LLM组件的延迟。现有的编排框架通常采用粗粒度的模块化设计，优化局限于模块内部，无法实现跨模块的并行和流水线操作，导致整体性能瓶颈。

核心思路：Teola的核心思路是将LLM应用的工作流程分解为细粒度的任务原语，例如数据预处理、模型推理、后处理等。通过将整个流程表示为原语级别的数据流图，Teola能够更精细地控制任务的执行顺序和资源分配，从而实现跨模块的并行化和流水线优化。

技术框架：Teola框架主要包含以下几个核心模块：1) 任务原语定义模块：定义了LLM应用中常用的任务原语，例如文本处理、模型推理、数据转换等。2) 数据流图构建模块：将LLM应用的工作流程表示为原语级别的数据流图，明确各个原语之间的依赖关系。3) 调度优化模块：根据数据流图和系统资源情况，进行任务调度和资源分配优化，包括并行化、流水线、任务合并等。4) 执行引擎：负责执行优化后的数据流图，并监控任务的执行状态。

关键创新：Teola的关键创新在于其细粒度的端到端编排方法。与现有的粗粒度模块化编排框架相比，Teola能够更精细地控制任务的执行，实现跨模块的并行化和流水线优化，从而显著提高LLM应用的整体性能。

关键设计：Teola在调度优化模块中采用了多种优化策略，包括：1) 基于依赖关系的并行化：对于没有依赖关系的任务原语，可以并行执行。2) 基于流水线的任务执行：对于有依赖关系的任务原语，可以采用流水线的方式执行，即在前一个任务原语完成部分数据处理后，立即将数据传递给下一个任务原语进行处理，从而减少整体延迟。3) 任务合并：对于一些计算量较小的任务原语，可以将其合并为一个任务，从而减少调度开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Teola在多种流行的LLM应用中实现了显著的性能提升。例如，在文本摘要生成任务中，Teola相比现有系统实现了高达2.09倍的加速。在智能问答系统中，Teola也取得了显著的性能提升，降低了平均响应时间。这些实验结果充分证明了Teola框架的有效性和优越性。

🎯 应用场景

Teola框架可广泛应用于各种基于LLM的应用场景，例如智能问答系统、文本摘要生成、机器翻译、代码生成等。通过优化端到端的工作流程，Teola可以显著提高这些应用的响应速度和吞吐量，提升用户体验。未来，Teola还可以扩展到支持更复杂的LLM应用，例如多模态应用和强化学习应用。

📄 摘要（原文）

Large language model (LLM)-based applications consist of both LLM and non-LLM components, each contributing to the end-to-end latency. Despite great efforts to optimize LLM inference, end-to-end workflow optimization has been overlooked. Existing frameworks employ coarse-grained orchestration with task modules, which confines optimizations to within each module and yields suboptimal scheduling decisions. We propose fine-grained end-to-end orchestration, which utilizes task primitives as the basic units and represents each query's workflow as a primitive-level dataflow graph. This explicitly exposes a much larger design space, enables optimizations in parallelization and pipelining across primitives of different modules, and enhances scheduling to improve application-level performance. We build Teola, a novel orchestration framework for LLM-based applications that implements this scheme. Comprehensive experiments show that Teola can achieve up to 2.09x speedup over existing systems across various popular LLM applications. The code is available at https://github.com/NetX-lab/Ayo.