What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents
作者: Ashwin Gerard Colaco, Nada Lahjouji
分类: cs.LG
发布日期: 2026-07-09
💡 一句话要点
提出统一的内存压缩框架以优化大型语言模型的上下文管理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 内存压缩 大型语言模型 上下文管理 率-失真理论 智能代理 基准测试 信息保留
📋 核心要点
- 现有方法在内存管理上存在分散性，导致信息保留与丢弃的决策缺乏统一性和有效性。
- 论文提出通过率-失真视角来统一内存压缩方法，建立一个单一的压缩目标和分类框架。
- 研究结果表明，当前的压缩方法在多层次上存在相似的失效模式，并提出了新的基准测试方案。
📝 摘要（中文）
大型语言模型及其构建的代理在计算和内存上越来越依赖于记忆，包括缓存注意力键值、携带长提示、维护递归状态以及存储先前的交互。由于这些内存的使用并非无成本，四个独立的研究领域各自发展了压缩技术。本文提出了一种统一的视角，将这些方法视为在资源预算下对上下文信息的保留与丢弃的率-失真决策。通过建立一个七轴分类法，论文实现了不同层次间机制的转移，并提出了基准测试建议和设计原则，指出了当前研究中的开放问题。
🔬 方法详解
问题定义：本文旨在解决大型语言模型和代理在内存管理中面临的效率问题。现有方法各自独立，缺乏统一的框架，导致信息保留与丢弃的决策不够有效，且在多层次上存在信息丢失的风险。
核心思路：论文提出将内存压缩视为一个率-失真决策问题，旨在在资源预算下优化上下文信息的保留与丢弃。通过建立一个统一的压缩目标，论文实现了不同层次间的机制转移。
技术框架：整体架构包括一个七轴分类法，涵盖了从KV缓存管理到代理长期记忆的不同方法。每个层次的决策信号主要基于注意力的强度或最近性。
关键创新：最重要的创新在于将不同研究领域的内存压缩方法统一到一个框架下，揭示了它们在决策过程中的共性和失效模式。
关键设计：论文提出了一套新的基准测试方案，关注多层次的压缩效果，并强调了在设计中考虑压缩的原则，以提高整体性能。具体的参数设置和损失函数设计在文中详细讨论。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用新提出的压缩框架后，模型在多层次的上下文管理上表现出显著提升，尤其是在信息保留的有效性方面。具体性能数据和对比基线将在论文中详细列出，展示了压缩方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的优化、智能代理的长期记忆管理以及自然语言处理任务的性能提升。通过提供统一的内存管理框架，研究能够有效提高模型在多轮交互中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models, and the agents built on them, spend an ever-growing share of their compute and memory on remembering: caching attention keys and values, carrying long prompts, maintaining recurrent state, and storing what happened in previous turns and sessions. Because none of this memory is free, four largely separate research communities have each learned to compact it. They evict or quantize the KV cache, prune or distill prompts, bound architectural state, and consolidate agent memory. We argue that these are instances of one problem: a rate--distortion decision about what context-derived information to retain versus discard, at what fidelity, under a resource budget, so as to preserve downstream task utility. We make this lens precise with a single compaction objective and a layer-agnostic lower bound, use it to build a seven-axis taxonomy that classifies methods from across the stack uniformly, and use it to transfer mechanisms between layers that have never been connected, from serving-stack KV management to agent long-term memory. Two patterns hold across the survey. At every layer the signal that decides what to keep is attention magnitude or recency, and it fails in the same way everywhere, by discarding, before the query is known and with no way to undo it, information the query later needs. And while compression is measured carefully on single-turn long context, the repeated compaction that agents actually perform is almost never measured, and no benchmark holds one budget axis across all the layers at once. We turn both observations into a benchmark proposal, a small reference experiment, and a set of compaction-aware design principles, and we map the open problems.