Training an MoE LLM in MXFP4: How We Closed the Gap to BF16

📄 arXiv: 2610.32229v1 📥 PDF

作者: Han Wang, Zhitao Wang, Natalia Frumkin, Xuanwu Yin, Alireza Khodamoradi, Dong Li, Emad Barsoum

分类: cs.AI

发布日期: 2026-10-23

💡 一句话要点

提出ALTO以解决FP4格式训练大语言模型的优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 混合专家 低精度计算 量化训练 模型优化 机器学习

📋 核心要点

  1. 现有FP4格式在训练大语言模型时引入的量化误差会导致优化不稳定，影响模型性能。
  2. 论文提出的ALTO训练方案结合了多种技术，旨在降低FP4格式的收敛开销，提高训练稳定性。
  3. 实验表明，ALTO方案在验证集上达到了接近BF16的性能，收敛开销显著降低，提升了训练效率。

📝 摘要（中文）

在亚8位算术下训练大型语言模型（LLMs）能够显著提升内存带宽和计算吞吐量，但FP4格式引入的量化误差可能会导致优化不稳定。本文提出了ALTO，一个开源的训练方案，针对20亿参数的混合专家（MoE）模型GPT-OSS-20B，在MXFP4微缩格式下进行训练。该方案结合了多种成熟技术，并通过简化的权重去震荡方案，显著降低了FP4相较于BF16的收敛开销。实验结果显示，采用该方案的模型在验证集上达到了接近BF16基线的损失值，表明了其有效性。

🔬 方法详解

问题定义：论文要解决的问题是FP4格式在训练大型语言模型时引入的量化误差导致的优化不稳定性。现有方法在使用FP4时，模型性能无法与BF16格式相媲美，造成训练效率低下。

核心思路：论文的核心解决思路是提出ALTO训练方案，通过结合混合1D/2D块量化、随机Hadamard变换和随机舍入等技术，来降低量化误差的影响，并引入简化的权重去震荡方案以提高收敛速度。

技术框架：整体架构包括数据预处理、模型初始化、训练过程中的动态量化和去震荡模块。训练过程中，采用MXFP4微缩格式进行模型参数的存储和计算，确保在低精度下仍能保持较高的训练稳定性。

关键创新：最重要的技术创新点在于将去震荡方案与FP4训练结合，显著降低了相较于BF16的收敛开销，从而使得FP4格式的训练效果得以提升。

关键设计：在参数设置上，采用了动态调整的学习率和批量大小，损失函数使用了适应性调整的交叉熵损失，网络结构则基于现有的GPT架构进行了优化，以适应低精度计算的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用ALTO方案的模型在C4验证集上达到了3.3350的验证损失，仅比BF16基线高出0.007，收敛开销从+20.0%降低至+5.0%。这一结果表明，ALTO方案在FP4训练中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，尤其是在资源受限的环境中，能够有效降低计算成本和内存占用。未来，随着低精度计算技术的发展，ALTO方案可能会在更多大型模型的训练中得到应用，推动AI技术的普及与发展。

📄 摘要（原文）

Training large language models (LLMs) in sub-8-bit arithmetic promises substantial gains in memory bandwidth and compute throughput, yet FP4 formats introduce quantization error severe enough to destabilize optimization if left unaddressed. We present ALTO, an open-source training recipe for GPT-OSS-20B, a 20-billion-parameter mixture-of-experts (MoE) model, on the MLPerf Small MoE Training benchmark under the MXFP4 microscaling format. The recipe combines established techniques from Abecassis, Felix et al. [arXiv:2509.25149] (hybrid 1D/2D block quantization, randomized Hadamard transforms, and stochastic rounding) with a simplified weight de-oscillation scheme adapted from TetraJet-v2 [arXiv:2510.27527]. On C4 validation at global batch size 16, MXFP4 + RHT + SR + de-oscillation reaches a validation loss of 3.3350 at 16,128 steps, only 0.007 above the BF16 baseline (3.3283), closing roughly 50% of the gap left by MXFP4 without de-oscillation (3.3418). Measured by steps to reach the MLPerf quality target (validation loss 3.34), de-oscillation cuts the FP4 convergence overhead relative to BF16 from +20.0% to +5.0%. We also report negative end-to-end results from differential gradient estimation, outlier clipping, and macro-block scaling, despite each showing operator-level SNR gains. All experiments use simulated MXFP4 kernels on AMD MI300 hardware and wall-clock speed has not been optimized.