OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models

📄 arXiv: 2610.09346v1 📥 PDF

作者: Wenjun Wang, Heng Li, Yanggan Gu, Hongxia Yang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出OnlineQAT以解决低比特量化模型的准确性恢复问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化感知训练 在线策略蒸馏 低比特模型 自然语言处理 模型压缩

📋 核心要点

  1. 现有的量化感知训练方法在模型压缩后，恢复准确性时依赖于固定的训练数据，无法适应模型自生成的前缀。
  2. 本文提出的OnlineQAT框架通过块级QAT初始化低比特模型，并在学生生成的响应上进行在线策略蒸馏，增强了模型的适应性。
  3. 在Qwen3-1.7B模型上，OnlineQAT在多个量化方法中表现最佳，显著提高了模型的准确性，尤其是在三比特量化时。

📝 摘要（中文）

量化感知训练（QAT）能够在将大型语言模型压缩到四比特以下时恢复大部分丢失的准确性。然而，现有的恢复阶段通常是在固定的完成或教师生成的答案上进行优化，而实际部署的量化模型则依赖于自身生成的前缀。为此，本文提出了OnlineQAT，一个两阶段框架，首先通过块级QAT获得可用的低比特初始化，然后在学生生成的响应上进行在线策略蒸馏（OPD）。在每个访问的前缀上，冻结的全精度教师提供采样的反向KL训练信号。在Qwen3-1.7B上，OnlineQAT在比较的量化方法中获得了最佳平均值：W3A16为57.28，W2A16为32.52，分别比ReasoningQAT提高了2.90和0.44点。这些结果表明，学生访问的状态提供了超越固定完成训练的有用恢复信号，特别是在三比特情况下。

🔬 方法详解

问题定义：本文旨在解决在低比特量化过程中，现有方法无法有效恢复模型准确性的问题。现有的恢复阶段通常基于固定的训练数据，导致模型在自生成前缀时出现量化误差，影响性能。

核心思路：论文提出的OnlineQAT框架通过两个阶段来解决这一问题。首先，通过块级量化感知训练（QAT）获得低比特初始化，然后在学生生成的响应上进行在线策略蒸馏（OPD），使模型能够适应自身生成的前缀。

技术框架：OnlineQAT的整体架构分为两个主要阶段：第一阶段是块级QAT，用于初始化低比特模型；第二阶段是在线策略蒸馏，在每个访问的前缀上使用冻结的全精度教师提供反向KL训练信号。

关键创新：最重要的创新在于引入了在线策略蒸馏，使得模型能够根据自身生成的状态进行动态调整，超越了传统的固定完成训练方法。

关键设计：在设计中，采用了块级QAT进行低比特初始化，并在在线蒸馏阶段使用反向KL散度作为损失函数，以引导学生模型更好地学习教师模型的知识。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在Qwen3-1.7B模型上，OnlineQAT在W3A16和W2A16量化方法中分别达到了57.28和32.52的最佳平均性能，较ReasoningQAT分别提高了2.90和0.44点，显示出其在低比特量化模型中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提高低比特量化模型的准确性，OnlineQAT能够在资源受限的环境中实现高效的语言理解和生成，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Quantization-aware training (QAT) can recover much of the accuracy lost when large language models are compressed below four bits. Existing re- covery stages, however, are commonly optimized on fixed completions or teacher-generated answers, whereas the deployed quantized model condi- tions on prefixes generated by itself. Quantization errors can therefore move the model into states that are absent from offline recovery data. We introduce OnlineQAT, a two-stage framework that first obtains a usable low-bit initialization through block-wise QAT and then performs on-policy distillation (OPD) on student-generated responses. At each visited pre- fix, a frozen full-precision teacher provides a sampled reverse-KL training signal. On Qwen3-1.7B, OnlineQAT obtains the best average among the compared quantized methods: 57.28 at W3A16 and 32.52 at W2A16, im- proving over ReasoningQAT by 2.90 and 0.44 points, respectively. The results suggest that student-visited states provide a useful recovery signal beyond fixed-completion training, particularly at three bits.