Comprehensive Performance Modeling and System Design Insights for Foundation Models

📄 arXiv: 2410.00273v1 📥 PDF

作者: Shashank Subramanian, Ermal Rrapaj, Peter Harrington, Smeet Chheda, Steven Farrell, Brian Austin, Samuel Williams, Nicholas Wright, Wahid Bhimji

分类: cs.LG, cs.DC

发布日期: 2024-09-30

备注: 17 pages, PMBS 2024

💡 一句话要点

针对不同类型Transformer，提出综合性能建模与系统设计方案。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Transformer模型 性能建模 HPC系统设计 并行化策略 大型语言模型 长序列模型 加速器 互连网络

📋 核心要点

  1. 现有HPC系统设计缺乏对不同Transformer模型性能特性的深入理解，导致资源利用率低下。
  2. 提出一种综合性能模型，用于分析Transformer类型、并行策略和HPC系统特性对性能的影响。
  3. 研究表明，不同Transformer类型对并行策略和系统资源的需求差异显著，为系统设计提供了指导。

📝 摘要（中文）

生成式AI，特别是大型Transformer模型，正日益驱动科学和工业领域的高性能计算（HPC）系统设计。本文分析了此类Transformer模型的性能特征，并讨论了它们对Transformer类型、并行化策略和HPC系统特性（加速器和互连）的敏感性。我们利用性能模型来探索这种复杂的设计空间，并突出其关键组成部分。研究发现，不同的Transformer类型在不同的训练机制下需要不同的并行性和系统特性。大型语言模型在3D并行下表现良好，并且仅在预训练规模下才会放大网络需求，同时降低对加速器容量和带宽的依赖。另一方面，长序列Transformer（科学基础模型的代表）对网络和容量具有更均匀的依赖性，并且需要4D并行。我们的分析强调需要更紧密地对不同Transformer类型进行性能建模，同时牢记系统特性，并展示了实现这一目标的途径。我们的代码已开源。

🔬 方法详解

问题定义：论文旨在解决针对不同类型的Transformer模型，如何进行高效的HPC系统设计问题。现有方法缺乏对不同Transformer模型（如LLM和长序列模型）在并行化策略和系统资源需求上的差异性分析，导致系统设计无法充分优化，资源利用率不高。

核心思路：论文的核心思路是建立一个性能模型，该模型能够模拟不同Transformer模型在不同并行化策略和HPC系统配置下的性能表现。通过分析该模型的输出，可以深入了解不同Transformer模型对系统资源的需求，从而指导HPC系统的设计和优化。

技术框架：论文提出的技术框架主要包含以下几个模块：1) Transformer模型描述：定义不同类型的Transformer模型，如LLM和长序列模型。2) 并行化策略描述：定义不同的并行化策略，如数据并行、模型并行和流水线并行。3) HPC系统描述：定义HPC系统的硬件配置，如加速器类型、互连网络带宽等。4) 性能模型：基于上述描述，建立性能模型，用于模拟不同Transformer模型在不同并行化策略和HPC系统配置下的性能表现。

关键创新：论文的关键创新在于提出了一个综合的性能模型，该模型能够同时考虑Transformer模型类型、并行化策略和HPC系统特性对性能的影响。与现有方法相比，该模型能够更准确地预测不同Transformer模型在不同HPC系统上的性能表现，从而为系统设计提供更有效的指导。

关键设计：论文的关键设计包括：1) 针对不同Transformer模型，设计了不同的计算和通信模型。2) 针对不同的并行化策略，设计了不同的通信模式。3) 性能模型中考虑了加速器容量、带宽和互连网络带宽等关键系统参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究表明，大型语言模型（LLM）在3D并行下表现良好，且对网络的需求主要体现在预训练阶段，对加速器容量和带宽的依赖性较低。而长序列Transformer则需要4D并行，且对网络和容量的依赖性更加均衡。这些发现为不同类型Transformer模型的系统设计提供了重要的参考依据。

🎯 应用场景

该研究成果可应用于高性能计算中心、云计算平台等领域，帮助用户根据不同的Transformer模型类型和训练规模，选择合适的硬件配置和并行化策略，从而提高训练效率，降低成本。此外，该研究还可以指导新型HPC系统的设计，使其更好地支持大规模Transformer模型的训练。

📄 摘要（原文）

Generative AI, in particular large transformer models, are increasingly driving HPC system design in science and industry. We analyze performance characteristics of such transformer models and discuss their sensitivity to the transformer type, parallelization strategy, and HPC system features (accelerators and interconnects). We utilize a performance model that allows us to explore this complex design space and highlight its key components. We find that different transformer types demand different parallelism and system characteristics at different training regimes. Large Language Models are performant with 3D parallelism and amplify network needs only at pre-training scales with reduced dependence on accelerator capacity and bandwidth. On the other hand, long-sequence transformers, representative of scientific foundation models, place a more uniform dependence on network and capacity with necessary 4D parallelism. Our analysis emphasizes the need for closer performance modeling of different transformer types keeping system features in mind and demonstrates a path towards this. Our code is available as open-source.