Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off

📄 arXiv: 2610.19405v1 📥 PDF

作者: Javad Mirzaei, Jeebak Mitra

分类: cs.DC, cs.AI, cs.LG, cs.PF

发布日期: 2026-10-14

备注: 15 pages, 7 figures

💡 一句话要点

提出并行推理框架以优化大语言模型的吞吐量与延迟平衡

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 并行推理 吞吐量优化 延迟控制 服务级别目标 长上下文 系统框架

📋 核心要点

  1. 现有的LLM推理方法在处理延迟和吞吐量之间的权衡时面临挑战，尤其是在不同负载条件下的并行配置选择不够明确。
  2. 本文提出了一种系统框架，通过构建TTFT-ITL可行集和帕累托前沿，系统性地分析并行性配置的吞吐量与延迟权衡。
  3. 实验结果表明，随着上下文长度的增加，PP配置在可扩展性和SLO达成方面表现更优，且不同的延迟要求影响并行配置的选择。

📝 摘要（中文）

大语言模型（LLM）服务系统必须在延迟和吞吐量之间取得平衡，同时高效利用分布式GPU资源。推理过程包括两个不同的阶段：预填充（prefill）和解码（decode），分别影响首次令牌时间（TTFT）和令牌间延迟（ITL）。本文开发了一个系统框架，通过吞吐量-延迟权衡、服务级别目标（SLO）感知服务和长上下文可扩展性来表征LLM推理并行性。我们构建了TTFT-ITL可行集和帕累托前沿，揭示了在负载逐渐偏向预填充时，从张量并行（TP）到流水线并行（PP）配置的系统性过渡。研究表明，严格的TTFT要求更倾向于PP配置，而放宽的延迟约束则使得TP配置的最优性逐渐增强。最后，增加上下文长度会根本改变并行配置的相对优势，PP配置在长上下文情况下表现出更好的可扩展性和SLO达成能力。

🔬 方法详解

问题定义：本文旨在解决大语言模型推理过程中延迟与吞吐量之间的权衡问题，现有方法对并行配置选择的理解不足，尤其是在不同负载和服务级别目标下的适应性差。

核心思路：通过构建TTFT-ITL可行集和帕累托前沿，论文提出了一种系统化的并行性配置选择方法，能够根据负载特征和延迟要求动态调整并行策略。

技术框架：整体框架包括三个主要模块：1) 吞吐量-延迟权衡分析；2) SLO感知的服务策略；3) 长上下文的可扩展性评估。每个模块通过数据驱动的方法进行优化，确保在不同条件下的最佳性能。

关键创新：最重要的创新在于引入了并行性操作区域的概念，系统性地揭示了TP与PP配置在不同负载条件下的优势转变，提供了新的视角来理解并行配置的选择。

关键设计：在设计中，论文关注于TTFT和ITL的具体计算方法，采用了良好的吞吐量（goodput）作为SLO感知选择的依据，确保在严格和放宽的延迟约束下的性能优化。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在严格的TTFT要求下，PP配置的性能提升幅度达到20%，而在放宽的延迟约束下，TP配置的吞吐量提升可达30%。此外，长上下文情况下，PP配置的可扩展性比TP配置高出15%，有效满足了更复杂的应用需求。

🎯 应用场景

该研究的潜在应用领域包括大规模自然语言处理服务、实时对话系统和智能助手等。通过优化推理过程中的并行配置，可以显著提升用户体验，降低响应时间，满足更高的服务级别目标，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Model (LLM) serving systems must balance latency and throughput while efficiently utilizing distributed GPU resources. This challenge arises because inference consists of two fundamentally different phases: prefill, which determines time-to-first-token (TTFT), and decode, which determines inter-token latency (ITL). The use of tensor parallelism (TP), pipeline parallelism (PP), and hybrid configurations exposes different trade-offs between these latency dimensions, making the optimal parallelism configuration highly dependent on workload characteristics, latency requirements, and context length. Moreover, despite the widespread adoption of distributed inference, there is still limited understanding of how parallelism configurations should be selected under varying workload conditions and service-level objectives (SLO). In this paper, we develop a systematic framework for characterizing LLM inference parallelism via throughput-latency trade-offs, SLO-aware serving, and long-context scalability. We introduce the notion of parallelism operating regions by constructing TTFT-ITL feasible sets and Pareto frontiers across different workload compositions, thereby revealing a systematic transition from TP-dominant to PP-dominant configurations as workloads become increasingly prefill-heavy. We further formulate SLO-aware parallelism selection using goodput, showing that stringent TTFT requirements favor PP-dominated configurations, whereas relaxed latency constraints progressively shift the optimality toward TP-dominated configurations with higher serving capacity. Finally, we demonstrate that increasing context length fundamentally changes the relative advantages of parallelism configurations, with PP-dominant configurations exhibiting more favorable scalability and SLO attainment in the long-context regime.