OVAL: Output-Aware Local Page Bases for KV Cache Retrieval

📄 arXiv: 2610.06686v1 📥 PDF

作者: Ashkan Shahbazi, Chayne Thrash, Soheil Kolouri

分类: cs.LG

发布日期: 2026-10-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出OVAL以解决KV缓存检索中的近似误差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 KV缓存 页面稀疏注意力 输出感知编码 自然语言处理

📋 核心要点

  1. 现有的KV缓存检索方法未能有效处理近似误差对加权注意力输出的影响，导致性能下降。
  2. OVAL通过输出感知的页面编码，结合键和值的结构，优化了KV缓存的检索过程，提升了准确性。
  3. 在长推理基准测试中，OVAL在多个模型对比中实现了强劲的平均性能，并在长上下文理解和生成任务中表现优异。

📝 摘要（中文）

长上下文推理在大型语言模型中变得越来越昂贵，因为注意力机制必须在不断增长的KV缓存上操作。页面稀疏注意力通过紧凑地表示每个KV页面并仅为每个查询检索子集来降低此成本。现有的检索方法旨在估计注意力分数或页面相关性，但其目标并未直接考虑近似误差如何影响加权注意力输出。我们提出了OVAL，一种输出感知的页面编码，基于键和值的联合结构，同时保留准确检索所需的关键信息。OVAL不需要训练，并且在推理时不需要额外的值依赖统计数据。构建后，其存储表示的大小和解码时间与仅键的光谱表示相同。在长推理、长上下文理解和长生成基准测试中，OVAL始终优于仅键的光谱基线，并在多个长上下文理解和生成设置中与最新的KV缓存压缩和检索方法表现出竞争力。

🔬 方法详解

问题定义：论文要解决的问题是现有KV缓存检索方法在处理长上下文时的近似误差问题，这些误差会影响最终的加权注意力输出，导致性能下降。

核心思路：OVAL的核心思路是通过输出感知的页面编码，利用键和值的联合结构来优化检索过程，从而提高准确性并降低计算成本。

技术框架：OVAL的整体架构包括页面编码模块和检索模块。页面编码模块负责生成输出感知的页面表示，而检索模块则根据查询有效地选择相关的KV页面。

关键创新：OVAL的主要创新在于其训练自由的特性，且在推理时无需额外的值依赖统计数据。这使得OVAL在存储和解码效率上与传统方法相当，但在性能上却有显著提升。

关键设计：OVAL的关键设计包括对页面表示的优化，使其在保持小型存储的同时，能够有效地进行检索。此外，设计中还考虑了与现有方法的兼容性，确保在不同任务中均能发挥作用。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在长推理基准测试中，OVAL在多个模型对比中实现了强劲的平均@k性能，且在长上下文理解和生成任务中，OVAL的表现与领先基线相当或更优，且解码开销适中，显示出其在实际应用中的有效性。

🎯 应用场景

OVAL的研究成果在自然语言处理、对话系统和长文本生成等领域具有广泛的应用潜力。通过提高KV缓存的检索效率，OVAL能够支持更复杂的推理任务和长上下文理解，进而推动智能助手和自动化内容生成等技术的发展。

📄 摘要（原文）

Long context inference with large language models becomes increasingly expensive as attention must operate over an ever growing KV cache. Page sparse attention reduces this cost by representing each KV page compactly and retrieving only a subset for each query. Existing retrieval methods are designed to estimate attention scores or page relevance, but their objectives do not directly account for how approximation errors affect the resulting value weighted attention output. We introduce \method{}, an output aware page encoding derived from the joint structure of keys and values while preserving the key information needed for accurate retrieval. \method{} is training free and requires no additional value dependent statistics at inference time. Once constructed, its stored representation has the same size and decode time scoring cost as a key only spectral representation. Across long reasoning, long context understanding, and long generation benchmarks, \method{} consistently improves over the key only spectral baseline and performs competitively with recent KV cache compression and retrieval methods. On long reasoning benchmarks, it achieves strong avg@(k) performance across model benchmark pairs, while matching or surpassing leading baselines on several long context understanding and generation settings with modest decoding overhead. Code is available at \url{https://github.com/Ashkan13776/oval-kv}.