Differentiable Bit-Widths: Co-optimizing Pruning and Quantization via SVD for Ultra-Efficient LLM Compression

📄 arXiv: 2610.06026v1 📥 PDF

作者: Hankyul Kang, Jongbin Ryu

分类: cs.CL, cs.AI

发布日期: 2026-10-05

备注: Accepted to Advances in Neural Information Processing Systems (NeurIPS 2026)

🔗 代码/项目: GITHUB

💡 一句话要点

提出可微分位宽以统一优化剪枝与量化，提升LLM压缩效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 剪枝 量化 可微分方法 奇异值分解 模型压缩 深度学习

📋 核心要点

  1. 现有的SVD基础剪枝与量化方法在压缩过程中存在优化分离的问题，导致性能未能达到最佳。
  2. 本文提出了一种可微分的方法，通过学习组件级位宽，实现剪枝与量化的统一优化。
  3. 实验结果表明，在极端量化条件下，本文方法的性能优于传统的两阶段基线，显示出显著的提升。

📝 摘要（中文）

基于奇异值分解（SVD）的剪枝与量化方法近年来成为大规模语言模型（LLM）超高效压缩的有希望策略。这些方法通常分为两个阶段：首先截断组件，然后对剩余组件进行量化。尽管这种解耦的流程受益于剪枝和量化，但需要分别优化每个阶段，未能充分利用两者的平衡，可能导致在激进压缩下的性能不佳。为了解决这一限制，本文提出了一种新的LLM压缩方法，在统一框架中共同优化剪枝和量化。我们的关键思想是采用可微分的方法学习组件级位宽，使得不重要的组件可以被分配为0位精度并被剪除。值得注意的是，我们的方法在极端量化设置（1.61位）下，表现优于两阶段基线。

🔬 方法详解

问题定义：本文旨在解决现有SVD基础剪枝与量化方法在压缩过程中优化分离的问题，导致在激进压缩下性能不佳的痛点。

核心思路：我们提出了一种可微分的方法，通过学习每个组件的位宽，允许不重要的组件被分配为0位精度并剪除，从而实现剪枝与量化的共同优化。

技术框架：整体架构包括两个主要模块：首先是组件的位宽学习模块，其次是剪枝与量化的联合优化模块。通过这两个模块的协同作用，提升了模型的压缩效率。

关键创新：本文的主要创新在于提出了可微分位宽学习的机制，使得剪枝与量化在同一框架下进行优化，克服了传统方法的性能瓶颈。

关键设计：在参数设置上，我们设计了适应性损失函数，以平衡剪枝与量化的目标，同时确保模型在压缩后的性能保持稳定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文提出的方法在极端量化设置下（1.61位）相比于传统的两阶段基线，性能提升显著，验证了方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和其他需要高效模型部署的场景。通过优化大规模语言模型的压缩效率，可以在资源受限的环境中实现更高效的推理和响应速度，具有重要的实际价值和未来影响。

📄 摘要（原文）

SVD-based pruning and quantization have recently emerged as a promising strategy for the ultra-efficient compression of large language models. In these methods, compression is performed in two stages: components are first truncated, and the remaining ones are subsequently quantized. Although this decoupled pipeline benefits from both pruning and quantization, it requires separate optimization for each stage and fails to fully exploit their balance, which can lead to suboptimal performance under aggressive compression. To address this limitation, we propose a new LLM compression method that co-optimizes pruning and quantization in a unified framework. Our key idea is a differentiable method for learning component-wise bit-widths, allowing less important components to be assigned 0-bit precision and pruned away. Notably, our method performs favorably against two-stage baselines, even when subjected to extreme quantization settings ($1.61$ bits) designed for ultra-efficiency. Code: https://github.com/MMAI-Laboratory/DBW.