DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video

📄 arXiv: 2609.27470v1 📥 PDF

作者: Taeyoun Kwon, Seungjin Kim, Hyeonyu Kim, Moon Hwan Kim

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-09-23

备注: 15 pages, 8 figures, 6 tables. Code: https://github.com/MaumAI-Company/DeltaS

🔗 代码/项目: GITHUB

💡 一句话要点

提出DeltaS以解决长视频流中的KV缓存驱逐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长视频理解 KV缓存 驱逐策略 无查询方法 状态漂移 混合架构 视频处理

📋 核心要点

  1. 现有的KV缓存驱逐方法依赖于缓存本身的令牌评分，导致在处理长视频流时效率低下。
  2. DeltaS通过分析视频块引起的状态变化，提出了一种无查询、无训练的驱逐策略，优化了信息保留。
  3. 在六个长视频基准测试中，DeltaS平均提升了2.1分，最长基准测试提升了5.6分，显示出显著的性能优势。

📝 摘要（中文）

近年来，视频语言模型越来越多地采用混合架构，交替使用线性和全注意力层以实现高效的长上下文处理。线性注意力的递归状态大小固定，而全注意力的KV缓存随着视频流的增长而不断增加，因此在有限内存预算下，驱逐是必要的。现有的驱逐方法通常依赖于KV缓存本身的令牌评分，使用位置、注意力或键值表示，而基于注意力的评分还需要代理查询或额外计算。本文提出DeltaS，一种无查询、无训练的方法，通过保留引起更大规范状态变化的视频块，来优化驱逐策略。实验结果表明，DeltaS在多个长视频基准测试中表现优异，超越了现有的最强无查询基线。

🔬 方法详解

问题定义：本文旨在解决在长视频流中KV缓存的驱逐问题，现有方法在信息保留上存在不足，无法有效处理动态增长的缓存。

核心思路：DeltaS通过评估视频块引起的状态变化（状态漂移），在无查询的情况下决定保留哪些信息，从而优化驱逐策略。

技术框架：DeltaS的整体架构包括视频块的输入、状态变化的计算和驱逐决策的生成，主要模块包括状态更新和信息保留策略。

关键创新：DeltaS的核心创新在于其无查询、无训练的特性，通过状态漂移信号进行驱逐决策，区别于传统方法依赖于位置或注意力评分。

关键设计：在实现中，DeltaS的信号计算仅占前向传播的1.9%，并通过固定的预算和保留策略进行对比实验，确保了结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

DeltaS在六个长视频基准测试中平均提升了2.1分，最长基准测试提升了5.6分，超越了最强的无查询基线，且其信号计算成本仅为前向传播的1.9%。这些结果表明DeltaS在信息保留和驱逐策略上具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括视频理解、实时视频处理和多模态学习等。通过优化KV缓存的驱逐策略，DeltaS能够提升长视频流处理的效率，具有重要的实际价值和广泛的应用前景，尤其是在需要快速响应的场景中。

📄 摘要（原文）

Recent video-language models increasingly adopt hybrid architectures that interleave linear and full attention layers for efficient long-context processing. While the recurrent state of linear attention remains fixed in size, the KV cache of full attention continues to grow with the video stream, making eviction necessary under a bounded memory budget. The key challenge in streaming is that eviction must occur before the question arrives, so what to retain has to be decided without the question. Existing eviction methods derive token scores from the KV cache itself, using position, attention, or key-value representations, and attention-based scores further require proxy queries or extra computation. Hybrid backbones offer another source of signal. In gated-delta linear attention, the recurrent state is updated by the residual between each input and what can already be retrieved from the state, so its change over a chunk of frames reflects how much new information the chunk brings. We propose DeltaS, a query-agnostic, training-free method that retains video chunks inducing larger normalized state change, or state drift. In a controlled comparison with the budget and retention policy held fixed, state drift outperforms position-, attention-, and key-value-based signals. With a signal costing only 1.9% of the forward pass, DeltaS surpasses the strongest query-agnostic bounded-memory baseline by 2.1 points on average across six long-video benchmarks and by 5.6 points on the longest benchmark. These results suggest that the two memories of hybrid architectures can work cooperatively. Code is available at https://github.com/MaumAI-Company/DeltaS.