ViM-VQ: Efficient Post-Training Vector Quantization for Visual Mamba

📄 arXiv: 2503.09509v2 📥 PDF

作者: Juncan Deng, Shuaiting Li, Zeyu Wang, Kedong Xu, Hong Gu, Kejie Huang

分类: cs.CV

发布日期: 2025-03-12 (更新: 2025-07-30)

💡 一句话要点

ViM-VQ：针对Visual Mamba的高效后训练向量量化方法，提升低比特量化精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Visual Mamba 向量量化 后训练量化 低比特量化 模型压缩

📋 核心要点

  1. 现有VQ方法直接应用于Visual Mamba网络时，由于权重异常值和内存消耗等问题，导致量化精度不佳。
  2. ViM-VQ通过快速凸组合优化算法和增量向量量化策略，高效搜索最优码字，降低量化误差。
  3. 实验结果表明，ViM-VQ在低比特量化下，显著提升了Visual Mamba网络在各种视觉任务中的性能。

📝 摘要（中文）

Visual Mamba网络(ViMs)将选择性状态空间模型(Mamba)扩展到各种视觉任务，展现出巨大的潜力。向量量化(VQ)作为一种有前景的压缩技术，将网络权重分解为码本和分配，显著降低内存使用和计算延迟，从而能够在边缘设备上部署ViMs。虽然现有的VQ方法在卷积神经网络和基于Transformer的网络中实现了极低的比特量化(例如，3比特、2比特和1比特)，但直接将这些方法应用于ViMs会导致不令人满意的精度。我们发现几个关键挑战：1)ViMs中基于Mamba的块的权重包含大量异常值，显著放大量化误差。2)当应用于ViMs时，最新的VQ方法会遭受过多的内存消耗、冗长的校准程序以及在搜索最佳码字时的次优性能。在本文中，我们提出了ViM-VQ，一种专为ViMs量身定制的高效后训练向量量化方法。ViM-VQ由两个创新组件组成：1)一种快速凸组合优化算法，可有效更新凸组合和凸包，以搜索最佳码字；2)一种增量向量量化策略，可逐步确认最佳码字，以减轻截断误差。实验结果表明，ViM-VQ在各种视觉任务的低比特量化中实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决将现有向量量化(VQ)方法直接应用于Visual Mamba (ViM)网络时，精度显著下降的问题。现有VQ方法在CNN和Transformer上表现良好，但ViM网络中Mamba块的权重存在大量异常值，导致量化误差放大。此外，现有VQ方法在ViM上应用时，面临内存消耗过大、校准时间过长以及码字搜索性能不佳等问题。

核心思路：论文的核心思路是设计一种专为ViM网络定制的后训练VQ方法，即ViM-VQ。该方法通过优化码字搜索过程和减少量化误差来提高低比特量化精度。具体来说，ViM-VQ引入了快速凸组合优化算法和增量向量量化策略，以更有效地找到最优码字，并减轻截断误差。

技术框架：ViM-VQ主要包含两个核心模块：快速凸组合优化和增量向量量化。首先，快速凸组合优化算法用于高效地更新凸组合和凸包，从而加速最优码字的搜索过程。然后，增量向量量化策略逐步确认最优码字，以减少量化过程中的截断误差。整个框架采用后训练方式，无需重新训练网络，降低了部署成本。

关键创新：ViM-VQ的关键创新在于其针对ViM网络特性设计的快速凸组合优化算法和增量向量量化策略。快速凸组合优化算法通过高效地更新凸组合和凸包，显著加速了码字搜索过程，克服了现有VQ方法在ViM网络上内存消耗过大和校准时间过长的问题。增量向量量化策略则通过逐步确认最优码字，有效减轻了量化过程中的截断误差，提高了量化精度。

关键设计：快速凸组合优化算法的具体实现细节未知，但其核心在于高效地更新凸组合和凸包，以加速码字搜索。增量向量量化策略的具体实现细节也未知，但其核心在于逐步确认最优码字，以减少截断误差。论文可能涉及一些超参数的设置，例如码本大小、量化比特数等，这些参数的选择会影响量化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ViM-VQ在各种视觉任务的低比特量化中实现了最先进的性能。具体的性能数据和对比基线未知，但论文强调ViM-VQ在低比特量化方面优于现有的VQ方法，并能够有效提升Visual Mamba网络的性能。

🎯 应用场景

ViM-VQ具有广泛的应用前景，尤其是在边缘设备上部署Visual Mamba网络。通过低比特量化，ViM-VQ可以显著降低ViM网络的内存占用和计算延迟，使其能够在资源受限的设备上高效运行。这对于移动视觉、自动驾驶、智能监控等领域具有重要意义，能够推动ViM网络在实际应用中的普及。

📄 摘要（原文）

Visual Mamba networks (ViMs) extend the selective state space model (Mamba) to various vision tasks and demonstrate significant potential. As a promising compression technique, vector quantization (VQ) decomposes network weights into codebooks and assignments, significantly reducing memory usage and computational latency, thereby enabling the deployment of ViMs on edge devices. Although existing VQ methods have achieved extremely low-bit quantization (e.g., 3-bit, 2-bit, and 1-bit) in convolutional neural networks and Transformer-based networks, directly applying these methods to ViMs results in unsatisfactory accuracy. We identify several key challenges: 1) The weights of Mamba-based blocks in ViMs contain numerous outliers, significantly amplifying quantization errors. 2) When applied to ViMs, the latest VQ methods suffer from excessive memory consumption, lengthy calibration procedures, and suboptimal performance in the search for optimal codewords. In this paper, we propose ViM-VQ, an efficient post-training vector quantization method tailored for ViMs. ViM-VQ consists of two innovative components: 1) a fast convex combination optimization algorithm that efficiently updates both the convex combinations and the convex hulls to search for optimal codewords, and 2) an incremental vector quantization strategy that incrementally confirms optimal codewords to mitigate truncation errors. Experimental results demonstrate that ViM-VQ achieves state-of-the-art performance in low-bit quantization across various visual tasks.