GIFT: Geometry-Informed Low-precision Gradient Communication for LLM Pretraining

📄 arXiv: 2607.07494v1 📥 PDF

作者: Jieying Wang, Shuyuan Fan, Mingkai Zheng, Zhao Zhang

分类: cs.DC, cs.LG

发布日期: 2026-07-08

备注: 12 pages, 6 figures, 3 tables

💡 一句话要点

提出GIFT以解决大语言模型预训练中的梯度通信瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 梯度通信 低精度量化 几何感知 大语言模型 分布式训练 模型优化 性能提升

📋 核心要点

  1. 现有方法在低精度梯度通信中存在性能下降的问题，主要由于高度各向异性的梯度引起的方向依赖失真。
  2. GIFT通过在量化前将梯度转换为近似各向同性空间，改善低精度表示的准确性，从而提升模型性能。
  3. 实验结果表明，GIFT在64个NVIDIA GH200 Superchips上将Llama-600M的端到端预训练时间减少了7.6%，同时在下游任务中表现优于直接的欧几里得FP8通信。

📝 摘要（中文）

梯度通信是大语言模型（LLM）预训练中的主要瓶颈。通过低精度格式（如FP8和NVFP4）传输梯度可以显著减少通信量。然而，现有方法在欧几里得空间中通过线性或非线性映射对梯度进行量化，常常导致模型性能下降，因为高度各向异性的梯度会引起方向依赖的失真。本文提出了GIFT，一种几何信息驱动的梯度缩放方法，在几何感知坐标中进行低精度通信。通过在量化前将梯度转换为近似各向同性空间，GIFT使低精度表示更忠实于高精度对应物。GIFT仅改变用于低精度梯度通信的坐标系统，而不改变优化器、训练方案、通信集合或低精度格式。我们还开发了一种简化的几何感知变换算法，结合低秩近似和选择性应用，以平衡计算开销和通信减少。

🔬 方法详解

问题定义：本文旨在解决大语言模型预训练中梯度通信的效率问题。现有方法在低精度格式下量化梯度时，常因各向异性导致模型性能下降。

核心思路：GIFT的核心思路是通过几何信息驱动的方法，在量化前将梯度转换为近似各向同性的空间，从而减少方向依赖的失真，提升低精度表示的准确性。

技术框架：GIFT的整体架构包括梯度的几何变换、低精度量化和通信过程。首先对梯度进行几何变换，然后进行低精度量化，最后通过优化的通信路径进行传输。

关键创新：GIFT的主要创新在于引入几何感知的坐标系统，使得低精度梯度通信更加忠实于高精度梯度。这一方法与传统的欧几里得空间量化方法本质上不同，能够有效减少失真。

关键设计：在设计中，GIFT采用了低秩近似和选择性应用的策略，以平衡计算开销和通信效率，确保在不改变优化器和训练方案的情况下，提升通信性能。具体的参数设置和损失函数设计在实验中进行了验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GIFT在64个NVIDIA GH200 Superchips上将Llama-600M的端到端预训练时间减少了7.6%。在相同的优化器和通信路径下，GIFT在下游任务中的表现优于直接的欧几里得FP8通信，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的训练和优化，尤其是在需要高效梯度通信的分布式训练环境中。通过提升低精度通信的准确性，GIFT能够加速模型预训练过程，降低计算资源消耗，具有重要的实际价值和未来影响。

📄 摘要（原文）

Gradient communication is a primary scaling bottleneck in large language model (LLM) pretraining. Communicating gradients in low-precision formats, such as FP8 and NVFP4, can significantly reduce the communication volume. Existing methods quantize gradients via linear or nonlinear mappings in Euclidean space, often degrading model performance because highly anisotropic gradients incur direction-dependent distortion. We present GIFT, a geometry-informed gradient scaling method that performs low-precision communication in geometry-aware coordinates. By transforming gradients into a near-isotropic space before quantization, GIFT makes low-precision representations substantially more faithful to their high-precision counterparts. GIFT only changes the coordinate system used for low-precision gradient communication and does not change the optimizer, training recipe, communication collective, or low-precision format. We also develop a simplified geometry-aware transformation algorithm with low-rank approximation and selective application to balance the computation overhead and communication reduction. We examine the empirical convergence of GIFT using Llama-300M and Llama-600M models. Our results show that GIFT reduces the end-to-end pretraining time of Llama-600M by 7.6% on 64 NVIDIA GH200 Superchips, while improving the downstream task preservation profile over direct Euclidean FP8 communication under the same optimizer and communication path.