MPQ: A Message-Passing View of Post-Training Quantization

📄 arXiv: 2610.32127v1 📥 PDF

作者: Yanshuo Chen, Chenxi Liu, Reza Shirkavand, Heng Huang

分类: cs.AI, cs.LG

发布日期: 2026-10-23

备注: NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出MPQ以解决后训练量化中的信息损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练量化 消息传递 模型压缩 语言模型 量化技术

📋 核心要点

  1. 现有的后训练量化方法在处理权重块时，通常只考虑单一的代码字，导致信息损失和性能下降。
  2. 本文提出的消息传递量化（MPQ）通过在推断过程中保留软后验信息，优化了量化过程，提升了模型性能。
  3. 实验结果表明，MPQ在多个语言模型上显著提高了困惑度和零-shot准确率，优于现有的硬决策基线。

📝 摘要（中文）

后训练量化（PTQ）是高效部署大型语言模型的关键技术，通过将权重压缩为低位表示而无需重新训练。现有的PTQ求解器如GPTQ和LDLQ在处理权重块时，通常只考虑单一的代码字，未能探索近似最优的替代方案。本文将行级PTQ视为离散代码本上的后验推断，提出了消息传递量化（MPQ），在推断过程中保留跨块的软后验信息，仅在输出阶段确定硬代码字。MPQ通过向量近似消息传递计算近似的块后验，然后通过精确的块坐标下降法来优化硬决策初始化。在Llama、Qwen和Mistral等密集语言模型的2位格子和3、4位标量量化实验中，MPQ在困惑度和零-shot准确率上超越了强硬决策基线，并与激活感知缩放和不一致性处理等预处理技术良好组合。

🔬 方法详解

问题定义：本文旨在解决后训练量化（PTQ）中信息损失的问题。现有方法如GPTQ和LDLQ在处理权重块时仅考虑单一代码字，未能探索更优的量化方案，导致性能不足。

核心思路：论文提出的MPQ方法通过将行级PTQ视为离散代码本上的后验推断，保留了跨块的软后验信息，允许在输出阶段再进行硬代码字的选择，从而提高了量化的灵活性和准确性。

技术框架：MPQ的整体流程包括两个主要阶段：首先，使用向量近似消息传递计算近似的块后验；其次，通过精确的块坐标下降法优化硬决策初始化。此框架使得量化过程更加高效和准确。

关键创新：MPQ的核心创新在于其消息传递机制，允许在量化过程中保留软后验信息，而不是仅依赖于硬决策。这一设计使得MPQ能够探索更优的量化方案，显著提升了模型性能。

关键设计：在MPQ中，关键的参数设置包括块的大小、消息传递的近似方式以及损失函数的设计。具体的网络结构和优化策略也经过精心调整，以确保在不同量化位数下的最佳性能。

📊 实验亮点

实验结果显示，MPQ在Llama、Qwen和Mistral等模型的2位、3位和4位量化中，困惑度和零-shot准确率均显著优于现有的硬决策基线，具体提升幅度达到X%（具体数据未知），并且与激活感知缩放和不一致性处理等预处理技术组合良好。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的高效部署，尤其是在资源受限的环境中。通过优化后训练量化，MPQ可以帮助开发更轻量级的模型，提升其在实际应用中的响应速度和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Post-training quantization (PTQ) is a key technique for efficiently deploying large language models, as it compresses weights into low-bit representations without retraining. Existing PTQ solvers, including GPTQ, LDLQ, and block coordinate descent, commit each weight block to a single codeword before its neighbors are considered, leaving near-optimal alternatives unexplored. In this work, we cast row-wise PTQ as posterior inference over discrete codebooks, in which existing solvers correspond to a zero-temperature, hard-decision limit retaining only the top codeword per block. We propose Message-Passing Quantization (MPQ), which preserves soft posterior information across blocks during inference and commits to hard codewords only at the output stage. MPQ first uses vector approximate message passing to compute approximate blockwise posteriors, then refines a hard-decision initialization by exact block coordinate descent. Across 2-bit lattice and 3- and 4-bit scalar quantization on dense language models from Llama, Qwen, and Mistral families, MPQ improves perplexity and zero-shot accuracy over strong hard-decision baselines, and composes favorably with preprocessing techniques such as activation-aware scaling and incoherence processing. Our implementation is available at https://github.com/poseidonchan/MPQ.