Replay the Curvature: Accurate and Scalable NVFP4 Quantization for Large Language Model Inference
作者: Ruiyi Ding, Jie Li, Kang He, Ziyan Liu, Chengru Song, Yuedong Xu, Yuan Cheng
分类: cs.LG, cs.CL, cs.DC
发布日期: 2026-09-29
备注: 33 pages
💡 一句话要点
提出Schur Replay算法以解决大语言模型推理中的量化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 量化技术 大语言模型 推理优化 内存管理 Schur Replay GPTQ 低精度计算
📋 核心要点
- 现有的量化方法在选择尺度时面临困难，尤其是在大型模型中，导致重构误差的评估不准确。
- 提出的Schur Replay算法通过重现块尺度引起的更新，准确评估量化误差，并优化内存使用和计算效率。
- 实验结果显示，所提方法在多个基准测试中实现了显著的性能提升，397B模型的每层时间减少了15.17倍。
📝 摘要（中文）
大型语言模型的权重存储和内存流量是主要的推理成本，这促使了低精度格式的使用。NVFP4通过让每16个E2M1权重共享一个E4M3块尺度来改善局部范围利用率。然而，在GPTQ中选择该尺度非常困难，因为量化一列会影响后续列的更新。本文提出了Schur Replay算法，该算法通过重现每个块尺度引起的GPTQ更新，并在考虑未量化列的补偿后评估最终重构误差。此外，本文的执行基础设施仅保留活动层，跨设备、主机和磁盘分层激活，导出后退役全精度层，并在张量并行排名中分配独立输出行。通过这些方法，算法和基础设施在Qwen3.5-397B-A17B和Llama-3.3-70B-Instruct的七个基准测试中实现了99.35%和100.84%的问答加权恢复。
🔬 方法详解
问题定义：本文旨在解决大型语言模型推理中的量化问题，现有方法在选择尺度时面临困难，导致重构误差评估不准确，尤其是在处理全精度权重和激活时。
核心思路：论文提出的Schur Replay算法通过重现每个块尺度引起的GPTQ更新，准确评估量化误差，并考虑未量化列的补偿，从而提高量化的准确性和效率。
技术框架：整体架构包括两个主要模块：一是Schur Replay算法用于选择合适的块尺度并评估误差，二是执行基础设施用于管理激活和权重的存储，确保高效的内存使用和计算。
关键创新：最重要的技术创新在于Schur Replay算法的设计，它能够有效地重现和评估量化误差，解决了传统方法在大模型中面临的挑战。
关键设计：在算法中，采用了特定的参数设置以优化块尺度的选择，并设计了分层激活管理策略，以降低每个GPU的内存使用，同时提高计算效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在Qwen3.5-397B-A17B和Llama-3.3-70B-Instruct的七个基准测试中实现了99.35%和100.84%的问答加权恢复。在397B模型上，基础设施的每层时间减少了15.17倍，相较于ModelOpt提高了23.14倍，且GPU内存使用更低。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等大型语言模型的推理任务。通过优化量化过程和内存管理，能够显著提升模型的推理速度和效率，降低硬件成本，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models make weight storage and memory traffic major inference costs, motivating low-precision formats that represent each weight with only a few bits. Such formats use a scale to map floating-point values into a small codebook; NVFP4 improves local range utilization by letting every 16 E2M1 weights share an E4M3 block scale. Choosing that scale is difficult in GPTQ because quantizing one column updates those that follow, so evaluating a block independently can misestimate its final reconstruction error. Large models pose a second challenge: full-precision weights, calibration activations, and second-order state cannot all remain on one accelerator, while assigning complete layers to devices leaves each time-consuming layer solve serial. We introduce \emph{Schur Replay}, a scale-selection algorithm that reproduces the GPTQ updates caused by each block scale and scores the resulting block error after accounting for compensation from unquantized columns. Separately, our execution infrastructure keeps only the active layer resident, tiers activations across device, host, and disk, retires full-precision layers after export, and distributes independent output rows across tensor-parallel ranks. Together, the algorithm and infrastructure attain $99.35\%$ and $100.84\%$ question-weighted recovery from BF16 across seven benchmarks on Qwen3.5-397B-A17B and Llama-3.3-70B-Instruct. On the 397B model, the infrastructure reduces measured per-layer time by $15.17\times$ over ModelOpt and $23.14\times$ over LLM Compressor, with lower memory used per GPU.