VQKV: High-Fidelity and High-Ratio Cache Compression via Vector-Quantization

📄 arXiv: 2603.16435v1 📥 PDF

作者: Yixuan Wang, Qingyu Shi, Jiayu Zhou, Dianbo Liu, Ziwei He, Zhouhan Lin

分类: cs.CL

发布日期: 2026-03-17

💡 一句话要点

VQKV：通过向量量化实现高保真和高压缩比的KV缓存压缩

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: KV缓存压缩 向量量化 大型语言模型 低资源部署 模型加速

📋 核心要点

  1. 大型语言模型的KV缓存占用大量内存，限制了其在资源受限设备上的部署。
  2. VQKV利用向量量化技术，将KV缓存压缩为少量整数索引，实现高压缩比和高保真度。
  3. 实验表明，VQKV在压缩率和性能保持方面均优于现有方法，显著提升了生成长度。

📝 摘要（中文）

大型语言模型（LLMs）不断增长的上下文长度扩大了键值（KV）缓存，限制了其在资源受限环境中的部署。现有的KV缓存压缩方法通常依赖于低秩近似或标量量化，但这些方法无法同时实现高压缩比和高重建保真度。我们提出了VQKV，一种新颖的、无需训练的方法，它引入了向量量化（VQ）来获得高度压缩的KV表示，同时保持高模型保真度，从而允许用少量整数索引来表示数千个浮点数值。结果表明，VQKV在LLaMA3.1-8B上实现了82.8%的压缩率，同时在LongBench上保留了98.6%的基线性能，并在相同的内存占用下实现了4.3倍的更长生成长度。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中KV缓存过大，导致部署困难的问题。现有的低秩近似和标量量化方法虽然可以压缩KV缓存，但往往难以同时保证高压缩率和高重建保真度，导致模型性能下降。

核心思路：论文的核心思路是利用向量量化（VQ）技术。VQ可以将多个浮点数值压缩为一个整数索引，从而实现高压缩率。同时，通过训练合适的码本，可以保证重建后的KV缓存与原始KV缓存具有较高的相似度，从而保持模型性能。

技术框架：VQKV的整体框架包括以下几个步骤：1. 将KV缓存划分为多个向量；2. 使用向量量化器将每个向量映射到一个码本索引；3. 存储码本索引，而不是原始的KV缓存；4. 在推理时，使用码本索引从码本中查找对应的向量，并重建KV缓存。

关键创新：VQKV的关键创新在于将向量量化技术应用于KV缓存压缩。与传统的标量量化相比，向量量化可以更好地捕捉KV缓存中的相关性，从而实现更高的压缩率和更好的重建保真度。此外，VQKV是一种无需训练的方法，可以直接应用于现有的LLMs，无需进行额外的训练。

关键设计：VQKV的关键设计包括：1. 码本大小的选择：码本越大，重建保真度越高，但存储成本也越高。需要根据实际情况进行权衡；2. 向量大小的选择：向量越大，可以捕捉更多的相关性，但计算复杂度也越高。需要根据实际情况进行权衡；3. 量化器的选择：可以使用不同的量化器，如K-means量化器或乘积量化器。需要根据实际情况进行选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VQKV在LLaMA3.1-8B模型上实现了82.8%的压缩率，同时在LongBench基准测试中保留了98.6%的基线性能。与未压缩的模型相比，VQKV在相同的内存占用下实现了4.3倍的更长生成长度。这些结果表明，VQKV是一种高效且有效的KV缓存压缩方法，可以在不牺牲模型性能的情况下显著降低内存占用。

🎯 应用场景

VQKV可应用于各种资源受限的场景，例如移动设备、边缘计算设备和嵌入式系统。通过压缩KV缓存，VQKV可以显著降低LLMs的内存占用，使其能够在这些设备上运行。此外，VQKV还可以用于加速LLMs的推理速度，提高用户体验。该技术对于推动大型语言模型在资源受限环境中的应用具有重要意义。

📄 摘要（原文）

The growing context length of Large Language Models (LLMs) enlarges the Key-Value (KV) cache, limiting deployment in resource-limited environments. Prior training-free approaches for KV cache compression typically rely on low-rank approximation or scalar quantization, which fail to simultaneously achieve high compression ratios and high reconstruction fidelity. We propose VQKV, a novel, training-free method introducing vector quantization (VQ) to obtain highly compressed KV representations while preserving high model fidelity, allowing for the representation of thousands of floating-point values with just a few integer indices. As a result, VQKV achieves an 82.8\% compression ratio on LLaMA3.1-8B while retaining 98.6\% of the baseline performance on LongBench and enabling 4.3x longer generation length on the same memory footprint.