REVA: Reusable Evidence View Aggregation for Context-Efficient RAG Serving

📄 arXiv: 2609.11209v1 📥 PDF

作者: Tuan Nguyen, Qiran Hu, Banruo Liu, Khoa D. Doan, Kok-Seng Wong, Fan Lai

分类: cs.LG, cs.CL, cs.IR

发布日期: 2026-09-10

备注: Author's accepted manuscript. Accepted for publication in the 2026 IEEE International Conference on Data Mining (ICDM)

💡 一句话要点

提出REVA框架以解决RAG服务中的上下文效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 上下文效率 数据挖掘 生成模型 注意力机制 文档压缩 机器学习

📋 核心要点

  1. 现有的RAG压缩方法在处理长上下文时存在延迟和内存开销大等问题，且常常依赖于独立的辅助模型。
  2. 提出REVA框架，通过聚合历史查询与文档的交互，创建可重用的证据视图，从而优化生成过程。
  3. 在四个基准测试中，REVA在生成质量上提升了1.0至5.8分，同时将压缩开销降低了5.3至15.6倍，延迟增加不足40毫秒。

📝 摘要（中文）

检索增强生成（RAG）通过将生成过程与检索到的文档相结合，提升了知识密集型大语言模型（LLM）的应用效果。然而，较长的上下文会增加延迟、键值缓存内存和令牌成本。现有的压缩方法往往独立于每个查询，依赖辅助模型或重写，且引入的在线开销可能抵消短提示的好处。本文从数据挖掘的角度重新审视RAG压缩，通过聚合历史查询-文档-模型交互形成可重用的证据视图。我们提出了可重用证据视图聚合（REVA）框架，能够将目标生成器的历史注意力轨迹挖掘为文档键控的预算无关评分存储，显著提升生成质量并减少压缩开销。

🔬 方法详解

问题定义：本文旨在解决现有RAG方法在处理长上下文时导致的延迟、内存和令牌成本过高的问题。现有压缩方法通常独立于每个查询，且引入的在线开销可能抵消其优势。

核心思路：REVA框架通过聚合历史查询-文档-模型交互，形成可重用的证据视图，从而有效减少生成过程中的冗余信息，提高上下文效率。

技术框架：REVA的整体架构包括历史注意力轨迹的挖掘、文档键控评分存储的构建、重要性聚合以及生成预算特定的文本视图。

关键创新：REVA的主要创新在于将历史交互信息转化为可重用的证据视图，避免了传统方法的在线开销，并显著提升了生成质量。

关键设计：REVA通过映射令牌级注意力到可读的单词单位，聚合重复文档访问的权重，并保持文档顺序和标准RAG接口，确保生成的文本符合预期的上下文需求。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，REVA在四个基准测试中相较于现有方法提升了生成质量1.0至5.8分，同时将压缩开销降低了5.3至15.6倍，且延迟增加不足40毫秒，显示出其在效率和效果上的显著优势。

🎯 应用场景

REVA框架在知识密集型任务中具有广泛的应用潜力，特别是在需要高效信息检索和生成的场景，如智能问答、对话系统和内容生成等。其优化的上下文处理能力将提升用户体验，降低计算资源消耗，具有重要的实际价值和未来影响。

📄 摘要（原文）

Retrieval-augmented generation (RAG) improves knowledge-intensive large language model (LLM) applications by conditioning generation on retrieved documents, but longer contexts increase latency, key-value (KV) cache memory, and token cost. Post-retrieval compression can reduce this cost, yet existing compressors often operate independently for each query, rely on auxiliary models or rewriting, and introduce online overhead that can offset the benefit of shorter prompts. We revisit RAG compression from a data-mining perspective by aggregating historical query--document--model interactions into reusable evidence views. We first show that modern compressors have unstable gains over simple truncation and can add substantial inference-time latency. We then propose Reusable Evidence View Aggregation (REVA), a framework that mines the target generator's historical attention traces into a document-keyed, budget-agnostic score store. REVA maps token-level attention to readable word units, aggregates importance across repeated document accesses, and renders budget-specific plain-text views that preserve document order and the standard RAG interface. Across four representative benchmarks and modern LLMs, REVA improves generation quality by 1.0--5.8 points over existing advances, while reducing compression overhead by a factor of 5.3 to 15.6, adding less than 40 ms of latency.