OSFP4: Joint Optimization of Diagonal Smoothing and Block Scales for NVFP4 Quantization

📄 arXiv: 2610.08231v1 📥 PDF

作者: Neriah Ben David, Ori Meir, Or Ordentlich

分类: cs.AI

发布日期: 2026-10-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出OSFP4以优化NVFP4量化精度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化技术 NVFP4 深度学习 模型优化 高效推理 准确性提升

📋 核心要点

  1. 现有的NVFP4量化方法在保持模型准确性方面面临挑战，尤其是在量化误差控制上。
  2. OSFP4通过引入对角平滑矩阵和联合优化策略，优化了NVFP4的量化过程，提升了准确性。
  3. 实验结果显示，OSFP4在量化设置中实现了最高的平均准确性，并保持了高达97%的吞吐量。

📝 摘要（中文）

NVFP4是一种适用于大型语言模型推理的高效数据类型，具有紧凑的存储和原生的张量核心加速能力。然而，使用NVFP4时保持准确性需要仔细的量化。在本研究中，我们提出了一种新颖的量化方案，称为优化平滑和缩放的NVFP4（OSFP4）。该方法为每个线性投影使用一个对角平滑矩阵，优化其条目以最小化在NVFP4下的平方矩阵乘法量化误差，并考虑所用的舍入过程。通过分析乘法抖动FP4量化器而非固定确定性量化器，促进了平滑条目和块缩放的联合优化。实验表明，OSFP4在相应的量化设置中实现了最高的平均准确性，同时在测量的工作负载上保留了约94-97%的供应商NVFP4预填充吞吐量。

🔬 方法详解

问题定义：本论文旨在解决NVFP4量化过程中准确性下降的问题。现有方法在量化误差控制上存在不足，导致模型性能下降。

核心思路：论文提出的OSFP4方法通过引入对角平滑矩阵，优化其条目以最小化量化误差，同时考虑舍入过程的影响，从而提升量化精度。

技术框架：OSFP4的整体架构包括对角平滑矩阵的优化和块缩放的联合优化。通过分析乘法抖动FP4量化器，论文设计了一种新的优化流程。

关键创新：OSFP4的主要创新在于其对平滑条目和块缩放的联合优化策略，这与传统的固定确定性量化方法有本质区别，能够更有效地控制量化误差。

关键设计：在OSFP4中，关键参数包括对角平滑矩阵的条目设置和量化损失函数的设计，确保在不同舍入策略下均能保持高准确性。具体的网络结构和参数设置在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OSFP4在量化设置中实现了最高的平均准确性，优于其他对比方法。同时，OSFP4在测量的工作负载上保留了约94-97%的NVFP4预填充吞吐量，显示出其在性能上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的推理和其他需要高效量化的深度学习任务。OSFP4的优化策略能够在保持高准确性的同时，显著提升模型的推理效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

NVFP4 is an attractive datatype for large language model (LLM) inference, offering compact storage and native tensor-core acceleration. However, preserving accuracy using NVFP4 requires careful quantization. In this work we develop a novel quantization scheme called Optimized Smoothing and Scaling for NVFP4 (OSFP4). For each linear projection it uses a diagonal smoothing matrix whose entries are optimized to minimize the squared matrix-product quantization error under NVFP4, taking into account the rounding procedure that is used (either round-to-nearest, or GPTQ-style successive interference cancellation). This requires performing joint optimization on the smoothing entries as well as the block scales, which is facilitated by analyzing a multiplicative-dither FP4 quantizer instead of the fixed deterministic one. Experiments show that OSFP4 achieves the highest average accuracy among the evaluated competitors in the corresponding quantization settings, while retaining approximately 94-97\% of vendor NVFP4 prefill throughput on the measured workloads. Our code is available in https://github.com/neriahbd/OSFP4