Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference

📄 arXiv: 2610.21257v1 📥 PDF

作者: Sunghyun Wee, Geunjae Choi, Hyeonjin Kim, Suyoung Kim, Nojun Kwak

分类: cs.LG, cs.AI

发布日期: 2026-10-15

备注: 37 pages, 19 figures, 22 tables. Accepted at NeurIPS 2026

💡 一句话要点

提出分数二次幂量化以解决低位宽LLM推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化技术 大型语言模型 推理效率 无乘法器设计 后训练量化 深度学习优化 计算机视觉

📋 核心要点

  1. 现有的二次幂权重量化方法在低位宽下导致显著的准确性下降，限制了大型语言模型的推理效率。
  2. 本文提出分数二次幂（FPoT），通过基于$ ext{sqrt{2}}$的量化网格实现高效的4位权重量化，同时保持整数移位加法数据路径。
  3. FPoT在多个模型和不同位宽下的实验中表现出色，相较于PoT基线提升了8.72%的性能，且与均匀整数基线接近。

📝 摘要（中文）

大型语言模型（LLMs）在推理时需要高效的计算，尤其是乘加（MAC）操作占据了大部分计算和能耗成本。后训练量化（PTQ）通过将权重和激活映射到低位整数来降低这一成本。二次幂（PoT）权重量化通过移位加法逻辑实现高效的无乘法器LLM推理，但在低位宽下由于粗糙的基数-2量化网格导致显著的准确性下降。本文提出了分数二次幂（FPoT），采用基于$ ext{sqrt{2}}$的分数PoT网格，实现了实用的4位权重量化，同时保持完全整数的移位加法数据路径。该方法结合了基于$ ext{sqrt{2}}$的权重网格与均匀整数激活、校准时的网格对齐优化，以及轻量级的1加法器$ ext{sqrt{2}}$近似，显著减少了处理单元的门数。实验表明，FPoT在Llama-3-8B模型上相较于PoT基线提升了8.72%的零-shot常识推理性能，同时与均匀整数基线的性能接近，仅有0.4%的轻微下降。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理中乘加操作的计算和能耗成本过高的问题。现有的二次幂权重量化方法在低位宽下导致准确性显著下降，限制了其应用。

核心思路：提出分数二次幂（FPoT），采用基于$ ext{sqrt{2}}$的分数PoT网格，能够实现有效的4位权重量化，同时保持整数移位加法的数据路径，从而避免乘法器的使用。

技术框架：FPoT方法包括三个主要模块：1) 基于$ ext{sqrt{2}}$的权重网格与均匀整数激活的结合；2) 校准时的网格对齐优化；3) 轻量级的1加法器$ ext{sqrt{2}}$近似。

关键创新：FPoT的核心创新在于引入了基于$ ext{sqrt{2}}$的分数量化网格，这一设计显著改善了低位宽下的准确性，克服了传统PoT方法的局限性。

关键设计：在FPoT中，采用了静态的每通道尺度进行网格对齐优化，并通过近似网格量化在权重校准过程中吸收误差，确保了处理单元的门数显著少于4位整数乘法器。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，FPoT在Llama-3-8B模型上实现了4位权重和激活量化，相较于PoT基线提升了8.72%的零-shot常识推理性能，同时与均匀整数基线的性能接近，仅有0.4%的轻微下降。这些结果在七个模型和三种位宽配置中均得到了验证。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的高效推理，特别是在资源受限的环境中，如移动设备和边缘计算。FPoT方法的高效性和准确性使其在实际应用中具有重要价值，能够推动智能助手、对话系统等技术的发展。

📄 摘要（原文）

Large Language Models (LLMs) demand efficient inference, where the multiply-accumulate (MAC) operations in linear projections dominate compute and energy cost. Post-training quantization (PTQ) reduces this cost by mapping weights and activations to low-bit integers. Power-of-Two (PoT) weight quantization promises efficient multiplier-free LLM inference via shift-add logic, but suffers significant accuracy degradation at low bitwidths due to its coarse base-2 quantization grid. We introduce Fractional PoT (FPoT), a base-$\sqrt{2}$ (half-octave) fractional PoT grid that achieves practical 4-bit weight quantization while preserving a fully integer shift-add datapath. The method combines (i) the base-$\sqrt{2}$ weight grid with uniform integer activations, (ii) a calibration-time grid-alignment refinement absorbed into the static per-channel scale, and (iii) a lightweight 1-adder $\sqrt{2}$ approximation whose error is absorbed during weight calibration via approximate-grid quantization, yielding a processing element (PE) with significantly fewer gates than a 4-bit integer multiplier. On Llama-3-8B with 4-bit weight and activation quantization, FPoT improves zero-shot commonsense reasoning performance by 8.72% relative to the PoT baseline, while maintaining performance close to the uniform integer baseline, with only a negligible 0.4%p degradation. These results hold across various configurations spanning seven models and three bit-widths. Furthermore, FPoT can be integrated with state-of-the-art LLM PTQ methods, demonstrating framework-agnostic applicability.