STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
作者: Bingchen Yao, Haobo Xu, Haokun Lin, Yichen Wu, Ziyu Guo, Renrui Zhang, Zhichao Lu, Zhenan Sun, Ying Wei
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-09-29
备注: Technical Report
🔗 代码/项目: GITHUB
💡 一句话要点
提出STEPQuant以解决递归状态量化中的错误传播问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 递归状态量化 量化策略 时空分析 深度学习优化 自然语言处理 内存压缩 模型性能提升
📋 核心要点
- 现有方法在递归状态量化中面临严重的准确性下降，尤其是在低精度量化时，误差传播问题显著。
- STEPQuant通过分析误差的时间和空间特性，提出了一种基于误差大小和内存寿命的量化策略，优化了状态的精度分配。
- 在Qwen3.8-27B和Kimi-Linear-48B-A3B-Instruct的实验中，STEPQuant在6位预算下的准确性接近FP32，并在4位配置中超越了均匀INT8。
📝 摘要（中文）
线性注意力通过固定大小的递归状态替代了不断增长的KV缓存，但这些持久状态在并发服务下可能成为显著的内存瓶颈。直接将递归状态量化为低精度常常导致严重的准确性下降，因为量化误差在连续的状态更新中传播。我们发现这些误差的影响取决于两个互补维度：时间上，长寿命内存中的误差可以在多个解码步骤中持续存在；空间上，不同关键行中的误差对模型输出的影响不同，而状态的大小在行和列之间变化显著。基于这些观察，我们提出了STEPQuant，一个针对Delta规则递归状态的时空后训练量化框架。STEPQuant根据误差大小和内存寿命分配精度，并基于状态分布和关键行对输出误差的影响共同拟合关键行和数值列的规模。实验表明，STEPQuant在名义6位预算下的准确性接近FP32状态，并在4位配置中优于均匀INT8。
🔬 方法详解
问题定义：本论文旨在解决递归状态量化中由于低精度量化导致的准确性下降问题，现有方法在处理量化误差时缺乏有效的策略，导致误差在状态更新中不断传播。
核心思路：论文提出的STEPQuant框架通过分析长寿命内存中的误差持续性和不同关键行对输出的影响，设计了一种时空后训练量化方法，旨在根据误差大小和内存寿命动态分配量化精度。
技术框架：STEPQuant的整体架构包括误差分析模块、精度分配模块和状态量化模块。首先，通过分析状态分布和误差影响，确定每个状态的量化精度；然后，基于这些信息进行量化处理，最终生成优化后的递归状态。
关键创新：STEPQuant的主要创新在于其时空量化策略，能够根据状态的误差大小和内存寿命动态调整量化精度，这一方法与传统的均匀量化策略有本质区别。
关键设计：在设计中，STEPQuant采用了基于状态分布的精度分配策略，并通过优化损失函数来最小化量化误差。此外，关键行和数值列的规模拟合也是其重要的设计细节。
🖼️ 关键图片
📊 实验亮点
在实验中，STEPQuant在名义6位预算下的准确性接近FP32状态，并在4位配置中超越了均匀INT8，显示出显著的性能提升。此外，集成到SGLang中的6位STEPQuant实现了超过5倍的递归状态压缩，并将总服务内存减少了高达68.7%。
🎯 应用场景
STEPQuant的研究成果在自然语言处理、图像生成等领域具有广泛的应用潜力。通过有效减少递归状态的内存占用，能够提升模型在资源受限环境下的运行效率，推动更大规模模型的实际应用。未来，该方法还可能扩展到其他类型的深度学习模型中，进一步优化其性能和资源利用率。
📄 摘要（原文）
Linear attention replaces growing KV caches with fixed-size recurrent states, yet these persistent states can become a substantial memory bottleneck under concurrent serving. Directly quantizing recurrent states to low precision often leads to severe accuracy degradation, as quantization errors propagate through successive state updates. We discover that the impact of these errors depends on two complementary dimensions: temporally, errors in long-lived memory can persist across many decoding steps; spatially, errors in different key rows affect model outputs differently, while state magnitudes vary substantially along both rows and columns. Motivated by these observations, we propose STEPQuant, a spatial-temporal post-training quantization framework for Delta-rule recurrent states. STEPQuant allocates precision according to error magnitude and memory lifetime, and jointly fits key-row and value-column scales based on state distributions and key-row impact on output error. Experiments on Qwen3.8-27B and Kimi-Linear-48B-A3B-Instruct across both long- and short-generation benchmarks show that STEPQuant closely matches FP32-state accuracy under a nominal 6-bit budget and outperforms uniform INT8 in its 4-bit configuration. Integrated into SGLang with optimized GPU kernels, 6-bit STEPQuant achieves over 5x recurrent-state compression and reduces total serving memory by up to 68.7%. Our code is available at https://github.com/Dreamer-Toby/STEPQuant.