Piper: A Programmable Distributed Training System
作者: Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang
分类: cs.DC, cs.AI
发布日期: 2026-06-09
💡 一句话要点
提出Piper以解决大规模模型训练的并行策略适应性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 分布式训练 并行策略 模型训练 深度学习 计算优化 用户可控系统
📋 核心要点
- 现有的分布式训练系统往往依赖人工设计并行策略，难以快速适应新的训练需求。
- Piper通过解耦策略与运行时实现，允许用户用简单的注释和指令声明复杂的分布式训练策略。
- 实验结果显示，Piper在保持常见策略性能的同时，能够通过联合调度实现更高的性能和内存效率。
📝 摘要（中文）
大规模模型训练日益依赖多种并行策略的组合，如数据并行、管道并行和专家并行，以及像ZeRO这样的内存优化。现有系统通常需要人工设计高层并行策略并实现相应的低层执行策略，导致系统难以适应新策略。同时，许多通用框架灵活性较高，但其实现仍然依赖于固定的并行策略，难以整合最新的策略。本文提出了Piper，一个用户可控的分布式训练系统，能够将策略与运行时实现解耦。用户只需通过少量模型注释和调度指令声明分布式训练策略，Piper利用统一的全局训练有向无环图（DAG）编译每个设备的执行计划，并在与策略无关的分布式运行时中执行。实验表明，该系统在常见策略如ZeRO上保持性能平衡，同时通过联合调度计算和通信，在组合并行策略如DeepSeek-V3的DualPipe中实现额外的性能和内存效率提升。
🔬 方法详解
问题定义：本文旨在解决现有分布式训练系统在并行策略适应性方面的不足，现有方法通常依赖人工设计，导致灵活性不足和适应新策略的困难。
核心思路：Piper的核心思路是将训练策略与运行时实现解耦，用户可以通过简单的模型注释和调度指令来声明分布式训练策略，从而提高系统的灵活性和可扩展性。
技术框架：Piper的整体架构包括用户声明的训练策略、统一的全局训练有向无环图（DAG）作为中间表示，以及基于该DAG编译出的每设备执行计划。系统的运行时与具体的策略无关，能够适应多种并行策略。
关键创新：Piper的主要创新在于其用户可控的设计，使得用户能够灵活地组合和调度不同的并行策略，而不需要深入了解底层实现。这与传统方法的固定策略实现形成了鲜明对比。
关键设计：Piper的设计中包含了少量的模型注释和调度指令，这些指令能够对DAG进行变换，生成高效的执行计划。同时，系统支持联合调度计算和通信，以提高性能和内存效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Piper在使用ZeRO等常见策略时能够保持性能平衡，同时在组合并行策略如DeepSeek-V3的DualPipe中实现了显著的性能和内存效率提升，具体提升幅度未知。
🎯 应用场景
Piper的研究成果在大规模模型训练、深度学习框架开发和分布式计算领域具有广泛的应用潜力。它能够帮助研究人员和工程师更高效地设计和实施复杂的训练策略，适应不断变化的模型和数据需求，从而推动人工智能技术的进步。
📄 摘要（原文）
Large-scale model training increasingly relies on composing multiple parallelism strategies, such as data, pipeline, and expert parallelism, together with memory-saving optimizations like ZeRO. Deployed systems for foundation model pretraining often rely on human experts to manually design a high-level parallelism strategy then implement the corresponding low-level execution strategy, making it difficult to adapt the system to new strategies. Meanwhile, many general-purpose frameworks are more flexible but their implementations are still tied to a fixed set of common parallelism strategies, making it challenging to integrate state-of-the-art strategies. We present Piper, a user-controllable distributed training system that decouples the strategy from the runtime implementation. Piper allows users to declare a comprehensive distributed training strategy with a small set of model annotations and scheduling directives. Each directive applies a transformation on Piper's intermediate representation (IR), a unified global training DAG that represents all computation and communication. Using this IR, Piper compiles per-device execution plans and executes them with a distributed runtime agnostic to the strategy. We show that the combined system maintains performance parity on commonly available strategies such as ZeRO, while also enabling additional performance and memory efficiency gains through joint scheduling of compute and communication in composed parallelism strategies such as DeepSeek-V3's DualPipe.