E8-QAT: Efficient 2-Bit Quantization-Aware Training with Implicit Lattice Codebooks

📄 arXiv: 2610.27699v1 📥 PDF

作者: Xinyu Lei, Hong Huang, Jiebin Zhang, Hongyu Li, Jinlong Song, Decheng Wu, Guanghua Yu, Jianchen Zhu, Sujian Li

分类: cs.AI

发布日期: 2026-10-20

备注: 17 pages, 6 figures

💡 一句话要点

提出E8-QAT以解决低比特量化训练中的精度保持问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低比特量化 量化感知训练 大型语言模型 内存优化 高效推理

📋 核心要点

  1. 现有的低比特量化方法在保持模型精度方面面临困难，尤其是在训练过程中。
  2. E8-QAT通过使用$E_8$格作为隐式码本，避免了显式码本的存储和搜索，从而实现高效的量化感知训练。
  3. 实验结果表明，E8-QAT在多个任务上超越了现有基线，并显著降低了内存占用和提高了解码吞吐量。

📝 摘要（中文）

低比特量化能够减少大型语言模型的内存占用，但在高效训练中保持准确性仍然具有挑战性。标量量化独立编码权重，而显式码本向量量化在训练过程中引入了昂贵的搜索。我们提出E8-QAT，这是一种使用$E_8$格作为隐式八维码本的2比特量化感知训练框架。它通过算术投影联合量化权重组，在训练前向传播过程中无需存储或搜索显式码本。E8-QAT在Qwen3.6-35B-A3B上与全精度模型在四个任务的平均得分上表现相当，并在IFEval上比最先进的基线提高了2.03%，在LiveCodeBench上提高了1.51%。2比特表示将峰值内存减少了80%，并支持$4 imes$更大的批量。在每个表示的最大可行批量下，E8-QAT的解码吞吐量达到了BF16的1.97倍。

🔬 方法详解

问题定义：论文旨在解决低比特量化训练中精度保持的挑战，现有方法如标量量化和显式码本向量量化在训练效率和精度上存在不足。

核心思路：E8-QAT通过引入$E_8$格作为隐式八维码本，利用算术投影技术联合量化权重组，避免了显式码本的存储和搜索，提升了训练效率。

技术框架：该方法的整体架构包括权重组的算术投影、2比特核心编码和稀疏扩展等模块，确保在训练过程中高效地进行量化。

关键创新：E8-QAT的主要创新在于使用隐式码本进行量化，显著减少了训练过程中的计算开销，与传统的显式码本方法相比，提升了训练效率和模型性能。

关键设计：在设计中，E8-QAT采用了2比特核心编码，确保选定的格点被精确保留，同时在核心索引存储中增加的空间不足0.1%。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

E8-QAT在Qwen3.6-35B-A3B模型上实现了与全精度模型相当的性能，并在IFEval和LiveCodeBench上分别提高了2.03%和1.51%。此外，2比特表示将峰值内存减少了80%，支持$4 imes$更大的批量，解码吞吐量达到了BF16的1.97倍，展现了显著的性能提升。

🎯 应用场景

E8-QAT的研究成果在大型语言模型的训练中具有广泛的应用潜力，尤其是在需要高效内存管理和快速推理的场景，如自然语言处理、机器翻译和对话系统等。其高效的量化方法能够在保持模型性能的同时，显著降低计算资源的消耗，推动智能应用的普及和发展。

📄 摘要（原文）

Low-bit quantization reduces the memory footprint of large language models, but preserving accuracy with efficient training remains challenging. Scalar quantization encodes weights independently, while explicit-codebook vector quantization introduces costly search during training. We propose E8-QAT, a 2-bit quantization-aware training framework that uses the $E_8$ lattice as an implicit eight-dimensional codebook. It jointly quantizes weight groups through arithmetic projection without storing or searching an explicit codebook during the training forward pass. A 2-bit core encoding and sparse extension preserve the selected lattice points exactly, adding less than 0.1\% to core index storage. On Qwen3.6-35B-A3B, E8-QAT matches the performance of the full-precision model in terms of the average score across the four tasks. E8-QAT improves over the state-of-the-art baseline by 2.03\% on IFEval and by 1.51\% on LiveCodeBench, under the same data, schedule, and bit width. The 2-bit representation reduces peak memory by 80\% and supports a $4\times$ larger batch. At each representation's largest feasible batch, E8-QAT reaches $1.97\times$ the decoding throughput of BF16.