When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization

📄 arXiv: 2610.11226v1 📥 PDF

作者: Yanlong Zhao, Xiaoyuan Cheng, Huihang Liu, Baihua He, Xinyu Zhang, Harrison Bo Hua Zhu, Wenlong Chen, Li Zeng, Zhuo Sun

分类: cs.AI, cs.LG, stat.ML

发布日期: 2026-10-08

💡 一句话要点

提出分布鲁棒量化以解决低比特LLM量化性能下降问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低比特量化 分布鲁棒性 后处理精炼 模型性能提升 自然语言处理 计算机视觉

📋 核心要点

  1. 现有的权重仅后训练量化方法过于依赖重建损失的最小化，导致模型在新任务上的性能未必提升。
  2. 论文提出的分布鲁棒量化（DRQ）通过最小化最坏情况重建损失，针对输入激活分布的变化进行优化。
  3. 实验结果表明，DRQ在六种不同的PTQ方法上均能提升模型性能，且不增加推理开销。

📝 摘要（中文）

权重仅后训练量化（PTQ）在低精度下依赖重建损失最小化以保持模型质量。我们发现，最小化重建损失的权重不一定能在新任务上提升模型性能，甚至可能在相同的校准数据上导致性能下降。我们的分析表明，校准数据上重建损失较低的权重在输入激活分布变化时可能表现出更高的损失。基于这些观察和分析，我们提出了分布鲁棒量化（DRQ），一种后处理精炼过程，旨在最小化在约束输入激活分布集上的最坏情况重建损失。DRQ在现有量化网格内精炼表示量化权重的整数编码，保持量化参数和推理操作不变。大量实验表明，DRQ改善了六种代表性PTQ方法量化的模型，且在稠密和混合专家的大型语言模型上均取得了显著提升。

🔬 方法详解

问题定义：论文要解决的问题是现有权重仅后训练量化方法在低比特量化时，过度依赖重建损失最小化，导致模型在新任务上的性能下降。现有方法未能有效应对输入激活分布的变化。

核心思路：论文的核心解决思路是引入分布鲁棒量化（DRQ），通过最小化在不同输入激活分布下的最坏情况重建损失，来提升模型的泛化能力和性能。这样的设计旨在确保量化后的模型在面对新数据时依然能够保持较好的表现。

技术框架：DRQ的整体架构包括对量化权重的整数编码进行精炼，保持原有的量化参数和推理操作不变。该过程在一个约束的输入激活分布集上进行优化，以确保模型在不同输入条件下的鲁棒性。

关键创新：最重要的技术创新点在于提出了分布鲁棒量化（DRQ）这一后处理精炼框架，它通过关注最坏情况重建损失，显著提升了模型在低比特量化下的性能。这与传统方法的重建损失最小化形成鲜明对比。

关键设计：在DRQ中，关键的参数设置包括量化网格的选择和输入激活分布的约束。损失函数设计上，DRQ关注最坏情况重建损失，而非简单的平均损失，从而更好地应对输入分布的变化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，DRQ在六种代表性PTQ方法（如AWQ、GPTQ和ParoQuant）上均实现了性能提升，尤其是在稠密和混合专家的大型语言模型中，显著提高了下游任务的表现，且未增加推理开销。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要高效模型推理的场景。通过提升低比特量化模型的性能，DRQ能够在资源受限的设备上实现更高效的推理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Weight-only post-training quantization (PTQ) relies heavily on reconstruction loss minimization to preserve model quality at low precision. We show that the weights favored by minimizing this loss need not yield better model performance on new tasks. In fact, we find that lower reconstruction loss can even degrade model performance on the same calibration data. Our analysis further shows that weights with lower reconstruction loss on calibration data can have higher loss than other weights when the distribution of input activations changes. Motivated by these observations and our analysis, we propose Distributionally Robust Quantization (DRQ), a post-hoc refinement process that minimizes worst-case reconstruction loss over a constrained set of input activation distributions. DRQ refines the integer codes representing quantized weights within the existing quantization grid, keeping quantization parameters and inference operators unchanged. Extensive experiments show that DRQ improves models quantized by six representative PTQ methods, including AWQ, GPTQ, and ParoQuant, and delivers gains across both dense and mixture-of-experts large language models. These results establish DRQ as a general post-hoc refinement framework for weight-only PTQ, achieving better downstream performance without adding inference overhead.