HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference

📄 arXiv: 2604.05887v1 📥 PDF

作者: Bowen Zeng, Feiyang Ren, Jun Zhang, Xiaoling Gu, Ke Chen, Lidan Shou, Huan Li

分类: cs.AI

发布日期: 2026-04-07

💡 一句话要点

HybridKV：面向高效多模态大语言模型推理的混合KV缓存压缩框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 KV缓存压缩 注意力机制 模型推理加速 混合压缩策略

📋 核心要点

  1. 多模态大语言模型推理时，KV缓存的快速增长导致内存开销巨大，成为性能瓶颈。
  2. HybridKV通过将注意力头分类为静态和动态类型，并采用不同的压缩策略，实现高效的KV缓存压缩。
  3. 实验表明，HybridKV在几乎不损失性能的情况下，显著降低了KV缓存内存占用，并提高了推理速度。

📝 摘要（中文）

多模态大语言模型(MLLMs)在文本、图像和视频上的统一推理方面取得了进展，但其推理受到键值(KV)缓存快速增长的阻碍。每个视觉输入扩展为数千个token，导致缓存随上下文长度线性扩展，并在整个解码过程中驻留在GPU内存中，即使在高端GPU上也会导致过高的内存开销和延迟。常见的解决方案是在固定的分配预算下以不同的粒度压缩缓存：token级别统一丢弃不太重要的token，层级别改变跨层的保留率，head级别在head之间重新分配预算。然而，这些方法止步于分配，忽略了需要不同压缩策略的注意力头的异构行为。我们提出了HybridKV，一个混合KV缓存压缩框架，它在三个阶段集成了互补策略：首先使用以文本为中心的注意力将head分类为静态或动态类型；然后，自顶向下的预算分配方案分层分配KV预算；最后，静态head通过文本先验剪枝进行压缩，动态head通过分块检索进行压缩。在Qwen2.5-VL-7B上进行的11个多模态基准测试表明，相对于完整缓存的MLLM，HybridKV将KV缓存内存减少高达7.9倍，并实现了1.52倍的更快解码，几乎没有性能下降，甚至更高。

🔬 方法详解

问题定义：多模态大语言模型（MLLMs）在处理视觉信息时，会产生大量的KV缓存，这些缓存需要驻留在GPU内存中，导致内存开销巨大，限制了模型能够处理的上下文长度和推理速度。现有的KV缓存压缩方法，如token级别、层级别和head级别的压缩，通常采用统一的压缩策略，忽略了不同注意力头行为的异构性，导致压缩效率不高。

核心思路：HybridKV的核心思路是根据注意力头的行为特征，采用不同的压缩策略。具体来说，将注意力头分为静态头和动态头，静态头主要关注文本信息，动态头则更多地关注视觉信息。针对静态头，采用文本先验剪枝的方法，去除冗余的文本信息；针对动态头，采用分块检索的方法，保留重要的视觉信息。通过这种混合压缩策略，可以在保证模型性能的同时，显著降低KV缓存的内存占用。

技术框架：HybridKV框架主要包含三个阶段：1) 注意力头分类：使用文本中心注意力将注意力头分类为静态或动态类型。2) 预算分配：采用自顶向下的预算分配方案，分层分配KV缓存预算。3) 混合压缩：静态头通过文本先验剪枝进行压缩，动态头通过分块检索进行压缩。

关键创新：HybridKV的关键创新在于提出了混合KV缓存压缩策略，根据注意力头的行为特征，采用不同的压缩方法。这种方法能够更有效地利用KV缓存空间，提高压缩效率。此外，HybridKV还提出了一种自顶向下的预算分配方案，能够更好地控制压缩过程中的信息损失。

关键设计：在注意力头分类阶段，使用文本中心注意力来判断注意力头对文本信息的关注程度。在静态头压缩阶段，采用文本先验剪枝方法，根据文本信息的先验重要性，去除冗余的token。在动态头压缩阶段，采用分块检索方法，将KV缓存分成多个块，然后根据块的重要性进行选择性保留。具体的参数设置和损失函数细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen2.5-VL-7B模型上，HybridKV在11个多模态基准测试中表现出色，实现了高达7.9倍的KV缓存内存减少，并获得了1.52倍的解码速度提升。更重要的是，在大幅降低资源消耗的同时，HybridKV几乎没有造成性能下降，甚至在某些情况下取得了更好的结果。

🎯 应用场景

HybridKV可应用于各种需要高效多模态大语言模型推理的场景，例如移动设备上的视觉问答、实时视频字幕生成、以及低资源环境下的多模态内容理解。该技术能够降低模型部署的硬件成本，并提升用户体验，加速多模态大语言模型在实际应用中的普及。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have advanced unified reasoning over text, images, and videos, but their inference is hindered by the rapid growth of key-value (KV) caches. Each visual input expands into thousands of tokens, causing caches to scale linearly with context length and remain resident in GPU memory throughout decoding, which leads to prohibitive memory overhead and latency even on high-end GPUs. A common solution is to compress caches under a fixed allocated budget at different granularities: token-level uniformly discards less important tokens, layer-level varies retention across layers, and head-level redistributes budgets across heads. Yet these approaches stop at allocation and overlook the heterogeneous behaviors of attention heads that require distinct compression strategies. We propose HybridKV, a hybrid KV cache compression framework that integrates complementary strategies in three stages: heads are first classified into static or dynamic types using text-centric attention; then a top-down budget allocation scheme hierarchically assigns KV budgets; finally, static heads are compressed by text-prior pruning and dynamic heads by chunk-wise retrieval. Experiments on 11 multimodal benchmarks with Qwen2.5-VL-7B show that HybridKV reduces KV cache memory by up to $7.9\times$ and achieves $1.52\times$ faster decoding, with almost no performance drop or even higher relative to the full-cache MLLM.