BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression

📄 arXiv: 2607.08643v1 📥 PDF

作者: Yuantian Shao, Peisong Wang, Zhilei Liu, Chuangyi Li, Yuanteng Chen, Pengcheng Xie, Yiwu Yao, Zhihui Wei, Jian Cheng

分类: cs.LG

发布日期: 2026-07-09

💡 一句话要点

提出BiSCo-LLM以解决极低比特大语言模型压缩问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模型压缩 二进制编码 球面编码 低比特量化 残差编码 蒸馏训练

📋 核心要点

  1. 现有低比特压缩方法在接近2比特时表现受限，且向量量化方法需额外存储代码本，增加了复杂性。
  2. BiSCo-LLM通过无代码本的二进制球面编码实现极低比特压缩，主要通过局部权重块映射和残差编码来优化。
  3. 实验结果表明，BiSCo-LLM在压缩率和模型性能上均优于现有方法，展示了显著的存储和计算效率提升。

📝 摘要（中文）

大语言模型（LLMs）在部署过程中受到内存容量、权重带宽和检查点存储的限制。现有的低比特压缩方法主要分为两类：标量或组量化方法简单但在接近2比特时表现受限，而向量量化权重压缩虽然提供了更丰富的表示，但通常需要显式的代码本和索引查找。本文提出了BiSCo-LLM，一种无代码本的二进制球面编码框架，旨在实现极低比特的LLM权重压缩。该框架通过将局部权重块映射到单位超球面并二进制化为紧凑的球面编码，避免了显式的VQ中心，同时通过残差BSQ阶段编码重建误差，提供了无存储代码本的显式率失真路径。最后，进行类别-wise恢复蒸馏，以减少局部权重重建与组装模型行为之间的不匹配。

🔬 方法详解

问题定义：本文旨在解决大语言模型在极低比特压缩中的存储和计算效率问题。现有方法在接近2比特时表现受限，且向量量化方法需显式代码本，增加了存储和查找的复杂性。

核心思路：BiSCo-LLM采用无代码本的二进制球面编码，通过将权重映射到单位超球面并二进制化，避免了显式的VQ中心，同时通过残差编码处理重建误差，以提高压缩效果。

技术框架：该框架包括三个主要模块：首先，将局部权重块映射到单位超球面并生成紧凑的球面编码；其次，残差BSQ阶段编码重建误差，提供显式的率失真路径；最后，进行类别-wise恢复蒸馏以减少模型行为的不匹配。

关键创新：BiSCo-LLM的最大创新在于其无代码本的设计，避免了传统方法中代码本的存储和查找问题，显著提高了压缩效率。

关键设计：在设计中，采用了小型8比特保护通道作为辅助稳定机制，确保敏感通道的稳定性，并对BSQ负载进行单独计数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BiSCo-LLM在压缩率和模型性能上均优于现有的低比特压缩方法，具体提升幅度未详细说明，但表明其在存储和计算效率方面具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的部署和优化，特别是在资源受限的环境中，如移动设备和边缘计算。通过有效的压缩方法，BiSCo-LLM能够在保持模型性能的同时，显著降低存储和计算需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly constrained by memory capacity, weight bandwidth, and checkpoint storage during deployment. Existing low-bit compression methods mainly follow two directions. Scalar or group-wise quantization is simple and compatible with efficient low-precision kernels, but its representation capacity becomes limited when the target budget approaches 2 bits per weight. Vector-quantized weight compression provides a richer block-level representation, but usually introduces explicit codebooks, index lookup, and additional storage accounting. This paper presents BiSCo-LLM, a codebook-free binary spherical coding framework for extreme low-bit LLM weight compression. The core pipeline is built on three components. First, local weight chunks are mapped onto a unit hypersphere and binarized into compact spherical codes, so that the main payload is a bit-packed sign stream rather than explicit VQ centroids. Second, a residual BSQ stage encodes the reconstruction error left by the base spherical codec, providing an explicit rate-distortion path without stored codebooks. Third, category-wise recovery distillation is performed after replacing each Transformer module category, reducing the mismatch between local weight reconstruction and assembled model behavior. A small 8-bit protected-channel path is used as an auxiliary stabilization mechanism for sensitive channels and is counted separately from the BSQ payload. The reported storage budget includes binary codes, neural decoders, protected-channel payloads, LoRA adapters, and metadata.