BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation

📄 arXiv: 2610.17966v1 📥 PDF

作者: Yaoyang Liu, Shuwei Shen, Jincheng Tang, Jinguang Liu, Jinbao Xue, Hailong Yang, Ke Zhang, Yinjun Wu

分类: cs.LG, cs.AI

发布日期: 2026-10-13

💡 一句话要点

提出BELT框架以解决长上下文推理中的KV缓存瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 KV缓存压缩 低秩技术 注意力机制 模型优化 量化技术 深度学习

📋 核心要点

  1. 长上下文推理使得现有的KV缓存成为大型语言模型的内存瓶颈，限制了模型的性能和效率。
  2. BELT框架通过低秩KV缓存压缩，针对注意力分布进行优化，采用可学习的全局秩分配器来动态调整缓存结构。
  3. 实验结果显示，BELT在多个基准测试中显著提高了模型性能和解码速度，压缩率高达70%。

📝 摘要（中文）

长上下文推理使得键值（KV）缓存成为大型语言模型的主要内存瓶颈。本文提出BELT，一个低秩KV缓存压缩框架。其关键目标针对注意力分布，而非原始键或预软最大化逻辑，提供了一个具有封闭形式的低秩解决方案。通过可学习的全局秩分配器，在训练期间使用可微分的软选择，在部署时使用硬选择，以满足用户指定的组件预算。实验表明，在激进压缩下模型质量有所提升，并在可比精度下提高了解码吞吐量。在三个大型语言模型和多个基准测试中评估，BELT实现了高达70%的低秩KV缓存压缩，并在LongBench上超越最强基线23.3个百分点，结合量化时整体KV缓存减少高达17.8倍。使用基于Triton的GPU内核和量化缓存，BELT在注意力模块上实现了高达2.7倍的加速，端到端解码吞吐量提高了3.3倍。

🔬 方法详解

问题定义：本文旨在解决长上下文推理中KV缓存的内存瓶颈问题。现有方法在处理大规模数据时，KV缓存的效率和性能受到限制，导致解码速度慢和资源消耗高。

核心思路：BELT框架的核心思路是通过低秩压缩技术优化KV缓存，重点关注注意力分布而非传统的键或逻辑，从而实现更高效的内存使用和更快的推理速度。

技术框架：BELT的整体架构包括关键侧目标优化、可学习的全局秩分配器以及在训练和部署阶段的软选择与硬选择机制。该框架通过这些模块协同工作，达到高效的KV缓存压缩效果。

关键创新：BELT的主要创新在于其针对注意力分布的低秩解决方案和动态秩分配策略，这与传统方法的静态压缩策略形成鲜明对比，显著提升了模型的适应性和性能。

关键设计：在设计中，BELT采用了可微分的损失函数来优化秩分配，并通过量化技术进一步减少缓存的存储需求，确保在压缩的同时保持模型的准确性和速度。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，BELT实现了高达70%的低秩KV缓存压缩，并在LongBench基准测试中超越最强基线23.3个百分点。此外，结合量化技术，整体KV缓存减少高达17.8倍，注意力模块加速达到2.7倍，端到端解码吞吐量提高3.3倍，显示出显著的性能提升。

🎯 应用场景

BELT框架具有广泛的应用潜力，尤其在需要处理长上下文的自然语言处理任务中，如机器翻译、对话系统和文本生成等。其高效的KV缓存压缩技术能够显著提升大型语言模型的推理速度和资源利用率，推动智能应用的实际落地和发展。

📄 摘要（原文）

Long-context inference makes the key-value (KV) cache a major memory bottleneck for large language models. We propose BELT, a low-rank KV cache compression framework. Its key-side objective targets attention distributions rather than raw keys or pre-softmax logits, yielding a quadratic surrogate with a closed-form low-rank solution. A learned global rank allocator uses differentiable soft selection during training and hard selection at deployment to meet a user-specified component budget. Experiments demonstrate improved model quality under aggressive compression and increased decoding throughput at comparable accuracy. Evaluated across three LLMs and multiple benchmarks, BELT achieves up to 70% low-rank KV cache compression while outperforming the strongest baseline by up to 23.3 points on LongBench, and up to 17.8x overall KV cache reduction when combined with quantization. With Triton-based GPU kernels and a quantized cache, BELT delivers up to 2.7x speedup for the attention module and 3.3x end-to-end decoding throughput.