Krul: Efficient State Restoration for Multi-turn Conversations with Dynamic Cross-layer KV Sharing
作者: Junyi Wen, Junyuan Liang, Zicong Hong, Wuhui Chen, Ting Cai, Zibin Zheng
分类: cs.CL, cs.AI
发布日期: 2025-07-10 (更新: 2025-08-26)
💡 一句话要点
Krul：一种高效的状态恢复系统，通过动态跨层KV共享优化多轮对话。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多轮对话 大型语言模型 KV缓存 状态恢复 注意力机制 模型压缩 推理加速
📋 核心要点
- 现有方法在多轮对话中采用静态KV缓存压缩策略，忽略了不同对话间注意力模式的差异，导致精度下降。
- Krul通过动态选择压缩策略，并结合重计算-加载流水线，实现高效且准确的KV缓存恢复。
- 实验表明，Krul在TTFT和KV缓存存储方面均优于现有方法，同时保持了生成质量。
📝 摘要（中文）
在多轮对话中，大型语言模型（LLM）的高效状态恢复仍然是一个关键挑战，这主要是由于为所有历史token重新计算或加载完整的键值（KV）缓存所带来的开销。为了解决这个问题，现有的方法压缩相邻层之间具有高度相似注意力模式的KV缓存。然而，这些方法通常对所有对话应用固定的压缩方案，选择相同的层对进行压缩，而不考虑特定于对话的注意力动态。这种静态策略忽略了不同对话中注意力模式相似性的可变性，这可能导致明显的准确性下降。我们提出了Krul，一个多轮LLM推理系统，可以实现准确和高效的KV缓存恢复。Krul基于层对之间的注意力相似性动态选择压缩策略，并使用重新计算-加载流水线来恢复KV缓存。它引入了三个关键创新：1) 一种抢占式压缩策略选择器，用于保留未来对话轮次的关键上下文，并为对话选择定制的策略；2) 一种token-wise异构注意力相似度估计器，用于减少模型生成期间的注意力相似度计算和存储开销；3) 一种无气泡恢复调度器，用于减少由压缩KV缓存导致的重新计算和加载流的不平衡所带来的潜在气泡。在真实世界任务上的经验评估表明，与最先进的方法相比，Krul在不影响生成质量的情况下，实现了1.5倍-2.68倍的time-to-first-token（TTFT）减少和1.33倍-2.35倍的KV缓存存储减少。
🔬 方法详解
问题定义：论文旨在解决多轮对话中大型语言模型（LLM）推理时，由于需要重新计算或加载所有历史token的KV缓存而导致的效率问题。现有方法采用静态的跨层KV缓存压缩策略，即对所有对话都采用相同的压缩层对，忽略了不同对话之间注意力模式的差异性，导致精度损失。
核心思路：Krul的核心思路是根据对话的实际注意力模式，动态地选择合适的KV缓存压缩策略。通过分析不同层之间的注意力相似度，选择最适合当前对话的压缩方案，从而在保证精度的前提下，减少KV缓存的存储和计算开销。同时，采用重计算-加载流水线来加速KV缓存的恢复。
技术框架：Krul包含三个主要模块：1) 抢占式压缩策略选择器：在对话开始前，预先选择合适的压缩策略，以保留关键上下文。2) Token-wise异构注意力相似度估计器：在模型生成过程中，高效地估计token级别的注意力相似度，避免大量的计算和存储开销。3) 无气泡恢复调度器：平衡重计算和加载流，减少由于压缩KV缓存带来的潜在性能瓶颈。
关键创新：Krul的关键创新在于动态的KV缓存压缩策略选择。与现有方法采用的静态压缩策略不同，Krul能够根据对话的实际注意力模式，自适应地选择压缩方案，从而在保证精度的前提下，最大程度地减少计算和存储开销。此外，token-wise的注意力相似度估计器和无气泡恢复调度器也进一步提升了系统的效率。
关键设计：抢占式压缩策略选择器可能涉及到对少量token进行前向推理，以评估不同层之间的注意力相似度。Token-wise异构注意力相似度估计器可能采用采样或近似计算的方法，以降低计算复杂度。无气泡恢复调度器可能需要根据重计算和加载的耗时，动态调整调度策略，以避免流水线中的空闲时间。
🖼️ 关键图片
📊 实验亮点
Krul在真实世界任务上进行了评估，结果表明，与最先进的方法相比，Krul在不影响生成质量的情况下，实现了1.5倍-2.68倍的time-to-first-token（TTFT）减少和1.33倍-2.35倍的KV缓存存储减少。这些结果表明，Krul能够显著提升多轮对话LLM推理的效率。
🎯 应用场景
Krul适用于各种需要高效多轮对话的场景，例如智能客服、聊天机器人、虚拟助手等。通过降低LLM推理的计算和存储成本，Krul可以帮助企业更经济高效地部署和运行这些应用，并提升用户体验。未来，Krul还可以应用于资源受限的设备上，例如移动设备或嵌入式系统。
📄 摘要（原文）
Efficient state restoration in multi-turn conversations with large language models (LLMs) remains a critical challenge, primarily due to the overhead of recomputing or loading full key-value (KV) caches for all historical tokens. To address this, existing approaches compress KV caches across adjacent layers with highly similar attention patterns. However, these methods often apply a fixed compression scheme across all conversations, selecting the same layer pairs for compression without considering conversation-specific attention dynamics. This static strategy overlooks variability in attention pattern similarity across different conversations, which can lead to noticeable accuracy degradation. We present Krul, a multi-turn LLM inference system that enables accurate and efficient KV cache restoration. Krul dynamically selects compression strategies based on attention similarity across layer pairs and uses a recomputation-loading pipeline to restore the KV cache. It introduces three key innovations: 1) a preemptive compression strategy selector to preserve critical context for future conversation turns and selects a customized strategy for the conversation; 2) a token-wise heterogeneous attention similarity estimator to mitigate the attention similarity computation and storage overhead during model generation; 3) a bubble-free restoration scheduler to reduce potential bubbles brought by the imbalance of recomputing and loading stream due to compressed KV caches. Empirical evaluations on real-world tasks demonstrate that Krul achieves a 1.5x-2.68x reduction in time-to-first-token (TTFT) and a 1.33x-2.35x reduction in KV cache storage compared to state-of-the-art methods without compromising generation quality.