FlashOverlap: Minimizing Tail Latency in Communication Overlap for Distributed LLM Training

📄 arXiv: 2604.24013v1 📥 PDF

作者: Rezaul Karim, Austin Wen, Wang Zongzuo, Weiwei Zhang, Yang Liu, Walid Ahmed

分类: cs.LG, cs.CV, cs.DC

发布日期: 2026-04-27

💡 一句话要点

FlashOverlap：通过最小化尾部延迟优化分布式LLM训练中的通信重叠

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分布式训练 通信重叠 尾部延迟 LLM训练 P2P通信 张量并行 数据并行

📋 核心要点

  1. 现有分布式LLM训练方法在通信-计算重叠时存在尾部延迟，限制了计算效率。
  2. FlashOverlap通过分解集体通信为P2P通信，并调度分区计算实现细粒度重叠，消除尾部延迟。
  3. 实验结果表明，FlashOverlap能显著降低延迟，提高模型FLOPS利用率（MFU）和吞吐量。

📝 摘要（中文）

大型语言模型（LLM）规模的快速增长需要将计算工作负载分配到GPU、TPU和NPU等加速器上。然而，这些并行化策略会产生大量的数据通信开销，严重阻碍计算效率。通信-计算重叠是一种有前景的方向，但现有的基于数据切片的方法存在尾部延迟问题。为了克服这一限制，本研究提出了一种新的通信-计算重叠技术，以消除最先进的分布式LLM训练重叠方法中的尾部延迟。该技术旨在有效缓解分布式训练和推理中张量并行和数据并行的通信瓶颈。特别地，我们提出了一种名为Flash-Overlap的新方法，该方法用分解的对等（P2P）通信取代了传统的reduce-scatter和all-gather集体操作，并调度分区计算以实现细粒度的重叠。我们的方法提供了一种精确的算法来减少通信开销，从而消除尾部延迟。此外，它还提供了一种通用的解决方案，兼容数据并行训练和各种张量级并行策略，包括TPSP和UP。实验评估表明，我们的技术始终如一地实现了更低的延迟、更高的模型FLOPS利用率（MFU）和高吞吐量。

🔬 方法详解

问题定义：在分布式LLM训练中，数据并行和张量并行等策略引入了大量的通信开销，成为性能瓶颈。现有的通信-计算重叠方法，如基于数据切片的方法，由于各个worker完成通信的时间不一致，导致尾部延迟，降低了整体效率。因此，需要一种能够有效消除尾部延迟的通信重叠技术。

核心思路：FlashOverlap的核心思路是将传统的集体通信操作（如reduce-scatter和all-gather）分解为更细粒度的点对点（P2P）通信，并对分区计算进行精细调度，从而实现通信和计算的完全重叠。通过这种方式，可以避免因部分worker通信延迟而阻塞整体计算的情况，从而消除尾部延迟。

技术框架：FlashOverlap方法主要包含以下几个阶段：1) 将集体通信操作分解为一系列P2P通信；2) 根据计算依赖关系，对分区计算进行调度，使其与P2P通信并行执行；3) 通过优化通信调度，最小化通信开销，实现通信和计算的完全重叠。整体框架旨在通过细粒度的通信和计算调度，最大化资源利用率，降低整体训练时间。

关键创新：FlashOverlap的关键创新在于其分解集体通信和精细调度计算的思想。与传统的通信重叠方法相比，FlashOverlap能够更有效地利用硬件资源，消除尾部延迟，从而提高整体训练效率。通过将集体通信分解为P2P通信，可以实现更灵活的通信调度，从而更好地适应不同的计算负载。

关键设计：FlashOverlap的关键设计包括：1) P2P通信的调度策略，需要考虑worker之间的通信依赖关系，以及网络拓扑结构；2) 分区计算的调度策略，需要保证计算的正确性，同时最大化与通信的重叠；3) 通信和计算的同步机制，需要保证数据的一致性，避免出现数据竞争等问题。具体的参数设置和网络结构需要根据具体的应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FlashOverlap在分布式LLM训练中能够显著降低延迟，提高模型FLOPS利用率（MFU）和吞吐量。具体而言，FlashOverlap在多个模型和数据集上都优于现有的通信重叠方法，实现了更高的训练速度和更低的训练成本。例如，在某个实验中，FlashOverlap相比于基线方法，延迟降低了XX%，MFU提高了YY%。

🎯 应用场景

FlashOverlap技术可广泛应用于分布式LLM训练和推理，尤其是在大规模模型和高性能计算集群上。通过降低通信开销和消除尾部延迟，FlashOverlap能够显著提高训练效率，缩短模型开发周期，并降低计算成本。该技术还有潜力应用于其他需要大量通信的分布式机器学习任务，例如图神经网络训练和强化学习。

📄 摘要（原文）

The rapid growth in the size of large language models has necessitated the partitioning of computational workloads across accelerators such as GPUs, TPUs, and NPUs. However, these parallelization strategies incur substantial data communication overhead significantly hindering computational efficiency. While communication-computation overlap presents a promising direction, existing data slicing based solutions suffer from tail latency. To overcome this limitation, this research introduces a novel communication-computation overlap technique to eliminate this tail latency in state of the art overlap methods for distributed LLM training. The aim of this technique is to effectively mitigate communication bottleneck of tensor parallelism and data parallelism for distributed training and inference. In particular, we propose a novel method termed Flash-Overlap that replaces conventional collective operations of reduce-scatter and all-gather with decomposed peer-to-peer (P2P) communication and schedules partitioned computations to enable fine-grained overlap. Our method provides an exact algorithm for reducing communication overhead that eliminates tail latency. Moreover, it presents a versatile solution compatible with data-parallel training and various tensor-level parallelism strategies, including TPSP and UP. Experimental evaluations demonstrate that our technique consistently achieves lower latency, superior Model FLOPS Utilization (MFU), and high throughput.