Spend Bytes on Breadth: Precision-Count Trade-offs for Decode-Time KV Compression in Long Chain-of-Thought Reasoning

📄 arXiv: 2610.05685v1 📥 PDF

作者: Runguo Li

分类: cs.CL

发布日期: 2026-10-05

备注: 15 pages, 4 figures, 9 tables

💡 一句话要点

提出BreadthKV以优化长链推理中的KV缓存压缩

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长链推理 KV缓存 在线压缩 量化 驱逐策略 自然语言处理 推理模型

📋 核心要点

  1. 现有的解码时间方法在KV缓存压缩中主要依赖于驱逐策略，导致推理效率低下。
  2. 本文提出BreadthKV，通过将字节预算分配给更多低精度token，优化了KV缓存的使用效率。
  3. 在三种推理模型和四个数学与科学基准上，BreadthKV在17种设置中表现优于单纯驱逐，且输出更短。

📝 摘要（中文）

推理模型在解码长链思维（CoT）时会写入大量的KV缓存，因此需要在固定内存预算下在线压缩缓存。现有的解码时间方法主要决定哪些token被驱逐。本文提出BreadthKV方法，将字节预算分配给更多低精度token，结合量化与驱逐，并通过60个问题的端到端校准选择每个模型和预算的比特宽度。实验结果表明，BreadthKV在18种设置中有17种超越了单纯驱逐的方法，并且生成了更短的输出。

🔬 方法详解

问题定义：本文旨在解决在长链推理中KV缓存压缩的效率问题。现有方法主要依赖于驱逐策略，导致推理过程中信息损失和效率低下。

核心思路：提出BreadthKV方法，通过将字节预算分配给更多低精度token，结合量化与驱逐，优化KV缓存的使用，提升推理效率。

技术框架：整体架构包括在线压缩模块、量化模块和驱逐策略模块。首先，根据固定的内存预算进行字节分配，然后选择合适的比特宽度进行量化，最后执行驱逐策略以优化缓存。

关键创新：BreadthKV的核心创新在于其结合了量化与驱逐策略的双重机制，显著提升了KV缓存的使用效率，与传统方法相比，能够更有效地处理长链推理中的信息流。

关键设计：在设计中，BreadthKV通过60个问题的端到端校准选择比特宽度，确保在不同模型和预算下的最佳性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在Qwen3-8B模型的紧凑预算下，BreadthKV将91%的样本推至长度上限，而传统驱逐方法仅为40%。在18种设置中，BreadthKV在17种情况下超越了单纯驱逐的表现，且与使用27%更多KV内存时间的RDKV在统计上无显著差异。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和复杂推理任务等。通过优化KV缓存的使用，BreadthKV能够提升推理模型的效率和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reasoning models write most of their KV cache while decoding long chains of thought (CoT), so the cache has to be compressed online under a fixed memory budget. Decode-time methods mostly decide which tokens to evict. We ask how a fixed byte budget should be split between the number of cached tokens and their precision. BreadthKV spends the bytes on more tokens at low precision, combining quantization with eviction, and picks the bit-width for each model and budget with a 60-problem end-to-end calibration, since offline attention error does not predict it reliably. On three reasoning models and four math and science benchmarks, it scores above eviction alone in 17 of 18 settings and produces shorter outputs. Much of what eviction loses comes from derailed runs, which keep reasoning until the length cap without reaching an answer. On Qwen3-8B at our tightest budget, eviction sends 91% of AIME samples to the cap and BreadthKV 40%. Under the same protocol, BreadthKV is statistically indistinguishable from a joint rate-distortion allocator (RDKV) that uses 27% more KV memory-time, and it outperforms our re-implementation of ThinKV.