QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides

📄 arXiv: 2607.15810 📥 PDF

作者: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

分类: cs.LG

发布日期: 2026-07-20

💡 一句话要点

提出QUADS以解决MoE强化学习中的NVFP4不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 量化技术 大语言模型 Mixture-of-Experts NVFP4 低精度计算 激活补偿 训练优化

📋 核心要点

  1. 现有的NVFP4在MoE强化学习中的应用存在不稳定性，导致回滚生成效率低下。
  2. QUADS通过在训练和回滚阶段分别引入不对称量化感知训练和残差激活补偿来解决激活误差问题。
  3. 实验结果显示，QUADS在准确性和吞吐量上均显著优于传统的NVFP4方法。

📝 摘要（中文）

在强化学习中，Mixture-of-Experts (MoE) 大语言模型的回滚生成是一个主要瓶颈，促使低精度回滚加速技术的发展，如FP8。NVFP4作为一种新兴的低精度格式，结合了细粒度缩放以保持准确性，并通过原生W4A4 FP4 GEMM实现比FP8更高的吞吐量。然而，直接将NVFP4应用于MoE RL回滚并不实用，导致在BF16训练下，回滚在约150步后崩溃，并伴随快速增长的回滚-训练者对数概率差距。通过训练-推理误差分析和控制消融，发现激活误差是FP4 RL不稳定的主要来源。因此，本文提出QUantization-error Alignment across Dual Sides (QUADS)来稳定NVFP4 RL。实验表明，QUADS在多个基准测试中实现了BF16级别的准确性，平均pass@1提升21.49点，并且回滚吞吐量比FP8高出约16%。

🔬 方法详解

问题定义：本文旨在解决在MoE强化学习中应用NVFP4时出现的不稳定性问题。现有方法在使用BF16训练时，回滚在150步后崩溃，且回滚与训练者之间的对数概率差距迅速增大。

核心思路：论文提出QUADS，通过在训练阶段进行不对称量化感知训练以优化权重的量化，同时在回滚阶段使用残差激活补偿来修正高误差的激活通道，从而提高整体稳定性。

技术框架：QUADS的整体架构分为两个主要模块：训练模块和回滚模块。在训练模块中，权重经过假量化处理，而激活保持未量化状态；在回滚模块中，残差激活补偿用于修正激活误差。

关键创新：QUADS的核心创新在于通过双侧量化误差对齐来解决激活误差问题，这与传统方法通过同步权重来解决问题的方式有本质区别。

关键设计：在训练过程中，采用不对称量化感知训练的策略，确保权重的量化与激活的未量化之间的最佳对齐；在回滚阶段，设计了残差激活补偿机制，以减少激活通道的误差影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

QUADS在多个基准测试中表现出色，达到了BF16级别的准确性，平均pass@1提升了21.49点，同时回滚吞吐量比FP8高出约16%，显示出其在低精度强化学习中的显著优势。

🎯 应用场景

该研究在强化学习和大语言模型的训练中具有广泛的应用潜力，尤其是在需要高效回滚生成的场景中，如对话系统、自动翻译和文本生成等领域。通过提高低精度格式的稳定性，未来可以推动更多智能系统的实际应用。

📄 摘要（原文）

Rollout generation is a major bottleneck in Reinforcement Learning (RL) for Mixture-of-Experts (MoE) Large Language Models, motivating low-precision rollout acceleration such as FP8. As an emerging low-precision format, NVFP4 combines fine-grained scaling for accuracy preservation with native W4A4 FP4 GEMMs for higher throughput than FP8. However, we find that directly applying NVFP4 to MoE RL rollout is impractical. NVFP4 rollout with BF16 training collapses after roughly 150 steps, accompanied by rapidly growing rollout-trainer log-probability gaps. Through training-inference error analysis and controlled ablations, we identify activation error, rather than weight error, as the dominant source of FP4 RL instability: weights can be synchronized and aligned by a shared quantization-dequantization path, whereas activations are recomputed online and error is amplified by the coarse E2M1 grid. Therefore, to stabilize NVFP4 RL for MoE, we propose QUantization-error Alignment across Dual Sides (QUADS). On the trainer side, we introduce Asymmetric Quantization-Aware Training fake-quantizing weights while keeping activations unquantized for better alignment. On the rollout side, Residual Activation Compensation corrects high-error activation channels while preserving native W4A4 GEMMs. In our MoE RL experiments on several benchmarks, QUADS achieves BF16-level accuracy, improves average pass@1 by 21.49 points over naive NVFP4 RL, and delivers ~16% higher rollout throughput than FP8.