Leech Lattice Vector Quantization for Efficient LLM Compression

📄 arXiv: 2603.11021v1 📥 PDF

作者: Tycho F. A. van der Ouderaa, Mart van Baalen, Paul Whatmough, Markus Nagel

分类: cs.LG

发布日期: 2026-03-11

💡 一句话要点

提出基于Leech格矢量量化的LLVQ算法，高效压缩大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模型压缩 矢量量化 Leech格 格量化

📋 核心要点

  1. 现有LLM量化方法受限于信息论界限，矢量量化虽能突破，但面临码本存储和查找的挑战。
  2. 论文提出Leech格矢量量化（LLVQ），利用Leech格的高维度和优异填充特性，实现高效量化。
  3. 实验表明，LLVQ在LLM量化性能上超越了Quip#、QTIP和PVQ等先进方法，验证了其有效性。

📝 摘要（中文）

大语言模型（LLM）的标量量化受到信息论界限的根本限制。矢量量化（VQ）通过联合编码参数块来克服这些限制，但实际实现必须避免昂贵的查找机制或其他显式码本存储的需求。格方法通过高度结构化和密集的填充来解决这个问题。本文探索了Leech格，它在24维上具有最佳的球体填充和亲吻构型，是已知具有这种最佳性质的最高维度格。为了使Leech格可用于LLM量化，我们扩展了一种基于扩展Golay码构造的现有搜索算法，以i)支持索引，从而实现与位串之间的转换而无需物化码本，ii)允许对Leech格壳的并集进行角度搜索，iii)提出完全可并行化的反量化内核。总之，这产生了一种实用的算法，即Leech格矢量量化（LLVQ）。LLVQ提供了最先进的LLM量化性能，优于最近的方法，如Quip#、QTIP和PVQ。这些结果突出了高维格对于可扩展的、理论上合理的模型压缩的重要性。

🔬 方法详解

问题定义：大语言模型（LLM）的量化旨在降低模型大小和计算复杂度，以便部署在资源受限的设备上。现有的标量量化方法受限于信息论的限制，无法充分压缩模型。矢量量化虽然可以突破这些限制，但需要存储庞大的码本，导致存储和查找效率低下。因此，如何在不增加额外存储负担的前提下，实现高效的LLM量化是一个关键问题。

核心思路：论文的核心思路是利用Leech格的优异特性进行矢量量化。Leech格是一种24维的格，具有最佳的球体填充密度和亲吻数，这意味着它可以高效地表示高维空间中的向量。通过将LLM的参数块映射到Leech格中的格点，可以实现高效的量化和压缩。同时，论文通过扩展现有的搜索算法，实现了对Leech格的快速索引和搜索，避免了显式码本的存储。

技术框架：LLVQ算法主要包含以下几个阶段：1) 参数分块：将LLM的参数划分为多个24维的向量块。2) 量化编码：对于每个向量块，在Leech格中找到与其最接近的格点，并将其索引编码为位串。3) 反量化解码：根据位串索引，恢复对应的格点向量，作为量化后的参数。4) 模型推理：使用量化后的参数进行模型推理。为了加速反量化过程，论文提出了一个完全可并行化的反量化内核。

关键创新：论文的关键创新在于将Leech格应用于LLM量化，并提出了一系列优化算法，使其能够高效地处理大规模的LLM参数。具体来说，论文的创新点包括：1) 利用Leech格的最佳填充特性，实现高效的矢量量化。2) 扩展了基于扩展Golay码构造的搜索算法，支持对Leech格的快速索引和搜索，避免了显式码本的存储。3) 提出了完全可并行化的反量化内核，加速了反量化过程。

关键设计：论文的关键设计包括：1) 使用24维的Leech格，以充分利用其最佳填充特性。2) 采用基于扩展Golay码构造的搜索算法，以实现对Leech格的快速索引和搜索。3) 设计了完全可并行化的反量化内核，以加速反量化过程。此外，论文还提出了角度搜索策略，以提高量化精度。具体参数设置和损失函数细节未在摘要中详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LLVQ算法在LLM量化性能上取得了显著的提升，优于Quip#、QTIP和PVQ等先进方法。具体性能数据未在摘要中给出，属于未知信息。但结果表明，高维格在可扩展的、理论上合理的模型压缩中具有重要作用。

🎯 应用场景

该研究成果可广泛应用于大语言模型的压缩和部署，尤其是在资源受限的边缘设备上。通过降低模型大小和计算复杂度，LLVQ能够使LLM在移动设备、嵌入式系统等平台上运行，从而推动人工智能在更广泛领域的应用。此外，该方法还可以应用于其他类型的深度学习模型，具有重要的实际价值和未来影响。

📄 摘要（原文）

Scalar quantization of large language models (LLMs) is fundamentally limited by information-theoretic bounds. While vector quantization (VQ) overcomes these limits by encoding blocks of parameters jointly, practical implementations must avoid the need for expensive lookup mechanisms or other explicit codebook storage. Lattice approaches address this through highly structured and dense packing. This paper explores the Leech lattice, which, with its optimal sphere packing and kissing configurations at 24 dimensions, is the highest dimensional lattice known with such optimal properties. To make the Leech lattice usable for LLM quantization, we extend an existing search algorithm based on the extended Golay code construction, to i) support indexing, enabling conversion to and from bitstrings without materializing the codebook, ii) allow angular search over union of Leech lattice shells, iii) propose fully-parallelisable dequantization kernel. Together this yields a practical algorithm, namely Leech Lattice Vector Quantization (LLVQ). LLVQ delivers state-of-the-art LLM quantization performance, outperforming recent methods such as Quip#, QTIP, and PVQ. These results highlight the importance of high-dimensional lattices for scalable, theoretically grounded model compression.