KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding

📄 arXiv: 2507.11273v1 📥 PDF

作者: Luohe Shi, Zuchao Li, Lefei Zhang, Guoming Liu, Baoyuan Qi, Hai Zhao

分类: cs.CL

发布日期: 2025-07-15

备注: To be published in The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)

🔗 代码/项目: GITHUB

💡 一句话要点

提出KV-Latent，通过维度降采样和频率感知旋转位置编码，有效降低LLM的KV缓存占用。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 KV缓存 维度降采样 旋转位置编码 推理加速 内存优化 Transformer 频率感知

📋 核心要点

  1. Transformer Decoder架构的LLM推理时，KV缓存的增长成为内存和带宽瓶颈。
  2. KV-Latent通过降采样KV向量维度到潜在空间，减少KV缓存占用并加速推理。
  3. 改进旋转位置编码，增强其在低维向量上的稳定性，避免高频噪声。

📝 摘要（中文）

本文提出了一种名为KV-Latent的范式，旨在解决Transformer Decoder架构的大型语言模型（LLM）推理过程中，Key-Value（KV）缓存逐渐增大带来的内存消耗和数据传输带宽限制问题。KV-Latent通过将Key-Value向量的维度降采样到潜在空间，显著减少KV缓存的占用，并提高推理速度，且仅需少量额外训练（小于预训练的1%）。此外，通过修改频率采样机制，增强了旋转位置编码在低维向量上的稳定性，避免了高频噪声的引入，同时保留了位置衰减。实验结果表明，该方法在具有和不具有分组查询注意力的模型上均取得了令人满意的结果。最后，通过对比实验研究了分别减少Key和Value组件对模型性能的影响。该方法为构建更高效的语言模型系统开辟了新的可能性，并为KV缓存节省和高效LLM提供了新的思路。

🔬 方法详解

问题定义：大型语言模型（LLMs）在推理过程中，Key-Value (KV) 缓存会逐渐增大，这导致了显著的内存消耗和数据传输带宽限制，成为效率瓶颈。现有的方法通常侧重于模型压缩或量化，但可能牺牲模型性能或引入额外的复杂性。

核心思路：KV-Latent的核心思路是通过将Key-Value向量的维度降采样到一个低维的潜在空间，从而直接减少KV缓存的大小。这种方法旨在在减少内存占用的同时，尽可能地保留模型性能。同时，针对降维后旋转位置编码可能出现的问题，提出了改进方案。

技术框架：KV-Latent主要包含两个核心模块：KV维度降采样和频率感知旋转位置编码。首先，通过线性变换将Key和Value向量投影到低维潜在空间。然后，在Transformer Decoder的自注意力机制中使用降维后的Key和Value向量。为了解决降维后旋转位置编码的稳定性问题，修改了其频率采样机制。整体流程与标准的Transformer Decoder基本一致，只是在KV向量的维度上进行了处理。

关键创新：KV-Latent的关键创新在于：1) 直接在KV向量的维度上进行降采样，从而有效减少KV缓存的大小，而无需复杂的模型压缩或量化技术。2) 针对降维后的旋转位置编码，提出了频率感知的采样机制，避免了高频噪声的引入，提高了模型的稳定性。

关键设计：KV维度降采样通过线性层实现，降维比例是一个关键参数，需要在性能和效率之间进行权衡。频率感知旋转位置编码通过修改频率采样公式实现，具体来说，避免采样过高的频率分量。损失函数与原始模型保持一致，无需额外的损失函数设计。网络结构方面，KV-Latent可以灵活地应用于各种基于Transformer Decoder的LLM，包括具有和不具有分组查询注意力的模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，KV-Latent能够在显著减少KV缓存占用的同时，保持模型性能。例如，在某些模型上，可以在几乎不损失性能的情况下，将KV缓存减少到原来的50%甚至更低。此外，频率感知旋转位置编码能够有效提高降维后模型的稳定性，避免性能下降。对比实验还研究了分别减少Key和Value组件对模型性能的影响，为进一步优化KV缓存节省策略提供了指导。

🎯 应用场景

KV-Latent可应用于各种需要高效LLM推理的场景，例如移动设备上的本地部署、资源受限的边缘计算环境、以及大规模在线服务等。通过降低KV缓存的占用，可以显著减少内存需求和数据传输带宽，从而提高推理速度和降低成本。该方法还有助于开发更轻量级的LLM，使其更容易部署和应用。

📄 摘要（原文）

Large language models (LLMs) based on Transformer Decoders have become the preferred choice for conversational generative AI. Despite the overall superiority of the Decoder architecture, the gradually increasing Key-Value (KV) cache during inference has emerged as a primary efficiency bottleneck, both in aspects of memory consumption and data transfer bandwidth limitations. To address these challenges, we propose a paradigm called KV-Latent. By down-sampling the Key-Value vector dimensions into a latent space, we can significantly reduce the KV Cache footprint and improve inference speed, only with a small amount of extra training, less than 1\% of pre-training takes. Besides, we enhanced the stability of Rotary Positional Embedding applied on lower-dimensional vectors by modifying its frequency sampling mechanism, avoiding noise introduced by higher frequencies while retaining position attenuation. Our experiments, including both models with Grouped Query Attention and those without, have yielded satisfactory results. Finally, we conducted comparative experiments to study the impact of separately reducing Key and Value components on model's performance. Our approach allows for the construction of more efficient language model systems, and opens the new possibility on KV Cache saving and efficient LLMs. Our code is available at https://github.com/ShiLuohe/KV-Latent.