iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD

📄 arXiv: 2610.02815v1 📥 PDF

作者: Yiren Zhao, Guanghui Song, Tianrui Qin, Kejiang Ye, Cheng-zhong Xu, Xitong Gao

分类: cs.AI

发布日期: 2026-10-02

💡 一句话要点

提出iS-KV以解决长链推理中的KV缓存压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: KV缓存 低秩压缩 自回归解码 长链推理 增量式SVD 自然语言处理 内存管理

📋 核心要点

  1. 现有的KV缓存压缩方法在长链推理中面临历史状态不可逆删除的问题，导致后续推理可能缺乏必要的信息。
  2. iS-KV通过保持最近窗口的准确性，同时将旧状态折叠为低秩表示，解决了在线解码中的缓存增长问题。
  3. 在DeepSeek-R1-Distill-Llama-8B上，iS-KV实现了82.6%的准确率，压缩比达到4.06倍，接近原始模型的83.6%。

📝 摘要（中文）

在自回归解码过程中，长链推理显著增加了KV缓存的内存需求，因为每生成一个令牌都会引入新的键值状态，导致缓存随着解码长度线性增长。现有的KV缓存压缩方法通常通过令牌驱逐来控制这种增长，但不可逆的删除可能会移除后续推理所需的历史状态。基于SVD的低秩压缩提供了一种替代方案，通过更紧凑的表示保留所有位置。然而，将其从固定提示缓存扩展到在线解码并非易事。我们提出的iS-KV是一种在线低秩KV缓存压缩方法，能够在长时间推理中保持最近窗口的准确性，同时将旧状态逐步折叠为有界秩表示。实验结果表明，iS-KV在多个基准测试中表现优异，准确率接近原始模型。

🔬 方法详解

问题定义：论文要解决的问题是长链推理过程中KV缓存的内存增长问题，现有方法通过令牌驱逐来控制缓存增长，但可能会丢失重要的历史状态。

核心思路：论文的核心思路是提出iS-KV方法，通过在保持最近窗口准确性的同时，将旧状态逐步折叠为低秩表示，避免了不可逆的历史状态删除。

技术框架：iS-KV的整体架构包括一个动态更新的低秩基和历史坐标同步模块，确保在新令牌加入时，旧令牌的表示保持一致。

关键创新：最重要的技术创新点在于通过增量式更新低秩基来保持历史坐标的同步，从而实现了在线解码中的高效KV缓存压缩。与现有方法相比，iS-KV能够更好地保留历史信息。

关键设计：iS-KV在参数设置上采用了动态窗口机制，损失函数设计上注重保持历史状态的表示一致性，网络结构上则采用了增量式SVD更新策略。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

iS-KV在DeepSeek-R1-Distill-Llama-8B上实现了82.6%的准确率，压缩比达到4.06倍，接近原始模型的83.6%。在Qwen3-8B上，准确率为89.2%，压缩比为5.64倍，且在相同内存预算下，iS-KV始终优于令牌驱逐基线。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的长文本生成、对话系统以及其他需要高效内存管理的自回归模型。通过优化KV缓存，iS-KV能够提升模型的推理效率和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Long chain-of-thought reasoning substantially increases KV-cache memory during autoregressive decoding, as every generated token introduces new key and value states and causes the cache to grow linearly with decoding length. Existing KV-cache compression methods typically control this growth through token eviction, but irreversible deletion can remove historical states that later reasoning may need to revisit. SVD-based low-rank compression provides an alternative by retaining all positions with a more compact representation. However, extending it from a fixed prompt cache to online decoding is non-trivial. Through our investigation, we find that if the basis is updated for new tokens while old tokens keep their coordinates in the old basis, the stored history drifts substantially. Based on this observation, we propose iS-KV, an online low-rank KV-cache compression method for long-horizon reasoning. iS-KV keeps a recent window exact while incrementally folding older states into bounded-rank representations. As the low-rank basis evolves, it synchronizes historical coordinates with the updated basis to maintain representation consistency. On DeepSeek-R1-Distill-Llama-8B, iS-KV achieves 82.6% accuracy at 4.06-fold persistent-KV compression, close to the original model's 83.6%. On Qwen3-8B, it achieves 89.2% accuracy at 5.64-fold compression. Under matched memory budgets, iS-KV consistently outperforms token-eviction baselines.