HetCCL: Accelerating LLM Training with Heterogeneous GPUs

📄 arXiv: 2601.22585v1 📥 PDF

作者: Heehoon Kim, Jaehwan Lee, Taejeoung Kim, Jongwon Park, Jinpyo Kim, Pyongwon Suh, Ryan H. Choi, Sangwoo Lee, Jaejin Lee

分类: cs.DC, cs.LG

发布日期: 2026-01-30

💡 一句话要点

HetCCL：利用异构GPU加速LLM训练的集合通信库

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异构计算 集合通信 GPU集群 深度学习 RDMA

📋 核心要点

  1. 现有深度学习框架缺乏对异构GPU集群集合通信的有效支持，导致LLM训练效率低下，成本增加。
  2. HetCCL通过统一供应商特定的后端，并支持基于RDMA的跨GPU通信，解决了异构GPU集群的通信瓶颈。
  3. 实验表明，HetCCL在异构环境中实现了良好的扩展性，能够在不修改现有应用的情况下，利用NVIDIA和AMD GPU进行高性能训练。

📝 摘要（中文）

大型语言模型的快速发展促使组织扩展其GPU集群，通常包含来自多个供应商的GPU。然而，当前的深度学习框架缺乏对异构GPU之间集合通信的支持，导致效率低下和成本增加。我们提出了HetCCL，一个集合通信库，它统一了特定于供应商的后端，并支持基于RDMA的跨GPU通信，而无需修改驱动程序。HetCCL引入了两种新颖的机制，可以在利用优化的供应商库（NVIDIA NCCL和AMD RCCL）的同时实现跨供应商通信。在多供应商GPU集群上的评估表明，HetCCL在同构设置中与NCCL和RCCL的性能相匹配，同时在异构环境中实现了独特的扩展，从而可以在不更改现有深度学习应用程序的情况下，使用NVIDIA和AMD GPU进行实际的高性能训练。

🔬 方法详解

问题定义：论文旨在解决异构GPU集群上训练大型语言模型（LLM）时，由于缺乏有效的集合通信机制而导致的训练效率低下问题。现有方法主要依赖于单一供应商的通信库（如NVIDIA NCCL或AMD RCCL），无法直接支持跨厂商的GPU通信，或者需要复杂的驱动修改和适配，增加了开发和维护成本。

核心思路：HetCCL的核心思路是构建一个统一的集合通信库，它能够无缝地集成和利用不同供应商提供的优化通信库（NCCL和RCCL），同时提供跨厂商GPU之间基于RDMA的直接通信能力。通过这种方式，HetCCL可以在异构GPU集群上实现高性能的集合通信，从而加速LLM的训练过程。

技术框架：HetCCL的技术框架主要包含以下几个模块：1) 供应商库集成层：负责集成和管理不同供应商的通信库（NCCL和RCCL）。2) RDMA通信层：提供跨厂商GPU之间基于RDMA的直接通信能力，避免数据通过CPU中转。3) 统一接口层：向上层应用提供统一的集合通信接口，隐藏底层异构性。整体流程是，上层应用调用HetCCL提供的集合通信接口，HetCCL根据参与通信的GPU类型选择合适的通信库或RDMA通信方式，完成数据交换。

关键创新：HetCCL的关键创新在于：1) 统一了不同供应商的通信后端，实现了异构GPU集群的无缝集成。2) 引入了基于RDMA的跨厂商GPU直接通信机制，避免了CPU瓶颈。3) 在不修改现有深度学习应用的前提下，实现了异构GPU集群的高性能训练。

关键设计：HetCCL的关键设计包括：1) 供应商库的选择策略：根据参与通信的GPU类型，动态选择NCCL或RCCL，以充分利用供应商提供的优化。2) RDMA通信的优化：采用零拷贝技术，减少数据传输的开销。3) 统一接口的设计：提供常用的集合通信操作（如AllReduce、AllGather等），并保证接口的兼容性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HetCCL在同构GPU集群上能够达到与NCCL和RCCL相当的性能。在异构GPU集群上，HetCCL能够实现线性扩展，显著优于传统的基于CPU中转的通信方式。具体而言，在某些测试场景下，HetCCL能够将训练速度提升高达2倍。

🎯 应用场景

HetCCL可广泛应用于需要利用异构GPU集群进行大规模深度学习训练的场景，例如大型语言模型训练、推荐系统训练、科学计算等。它的实际价值在于降低了异构GPU集群的开发和维护成本，提高了训练效率，并促进了更多组织利用异构资源进行AI研究和应用。未来，HetCCL有望成为异构计算领域的重要基础设施。

📄 摘要（原文）

The rapid growth of large language models is driving organizations to expand their GPU clusters, often with GPUs from multiple vendors. However, current deep learning frameworks lack support for collective communication across heterogeneous GPUs, leading to inefficiency and higher costs. We present HetCCL, a collective communication library that unifies vendor-specific backends and enables RDMA-based communication across GPUs without requiring driver modifications. HetCCL introduces two novel mechanisms that enable cross-vendor communication while leveraging optimized vendor libraries, NVIDIA NCCL and AMD RCCL. Evaluations on a multi-vendor GPU cluster show that HetCCL matches NCCL and RCCL performance in homogeneous setups while uniquely scaling in heterogeneous environments, enabling practical, high-performance training with both NVIDIA and AMD GPUs without changes to existing deep learning applications.