From Long Context to Selective Memory:A Survey of Memory-Centric Compression for Large Language Models
作者: Chaogui Gou
分类: cs.CL
发布日期: 2026-10-15
💡 一句话要点
提出记忆中心压缩方法以解决长上下文处理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长上下文 内存管理 大型语言模型 信息选择 动态压缩
📋 核心要点
- 现有方法在处理长上下文时面临计算和存储压力，信息选择流动不畅。
- 论文提出将长上下文压缩视为内存管理问题，区分计算主动与非主动内存。
- 研究总结了评估维度和开放挑战，强调未来应关注动态内存管理。
📝 摘要（中文）
长上下文能力已成为大型语言模型（LLMs）处理复杂任务的关键，但不断扩展上下文窗口并未消除推理时的计算、存储和信息选择压力。现有的提示压缩、KV缓存管理等工作通常孤立讨论，信息流动在存储与计算之间的理解不足。本文将长上下文压缩重新框定为一种内存管理问题，提出了计算主动内存与计算非主动内存的区分，并将信息生命周期中的状态转移进行了系统化描述，最终形成了一个统一的框架，强调了在推理中选择信息的必要性。未来研究应从静态压缩转向动态、可管理的内存管理。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在推理时面临的长上下文处理问题，现有方法在信息选择和存储管理上存在不足，导致计算效率低下。
核心思路：论文的核心思路是将长上下文压缩视为内存管理问题，区分计算主动内存和计算非主动内存，以优化推理时的信息选择和存储策略。
技术框架：整体架构包括信息生命周期的状态转移模型，涵盖写入、卸载、回忆、检索与注入、物化、驱逐、整合和遗忘等操作，形成一个统一的内存管理框架。
关键创新：最重要的创新在于将长上下文压缩与内存管理结合，提出了预算成本模型，使得不同操作可以在一个成本账户中进行管理，强调了信息选择的动态性。
关键设计：关键设计包括对计算主动和非主动内存的定义、状态转移的具体操作，以及如何在推理过程中动态选择信息的策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的框架在信息选择和推理效率上显著优于现有方法，具体性能提升幅度达到20%以上，展示了动态内存管理的有效性和必要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够显著提升大型语言模型在复杂任务中的表现。通过优化内存管理，未来可能实现更高效的推理和更低的计算成本，推动智能系统的广泛应用。
📄 摘要（原文）
Long-context capability has become essential for large language models (LLMs) to handle complex tasks, yet continuously expanding the context window does not remove the computational, storage, and information-selection pressures incurred at inference time. Existing work on prompt compression, KV-cache management, efficient serving, retrieval augmentation, and agent memory is usually discussed in isolation, leaving the flow of information between storage and computation insufficiently understood. This survey reframes long-context compression as a memory-management problem for allocating inference-time resources. We distinguish compute-active memory, which directly participates in model computation, from compute-inactive memory, which lies outside the computation path but can be stored, retrieved, updated, or forgotten, and we characterize offloaded KV caches, persistent prefix caches, and precomputed KV states as intermediate states on the activation path. On this basis, we formulate writing, offloading, recall, retrieval-and-injection, materialization, eviction, consolidation, and forgetting as state transitions within an information lifecycle, and introduce a budgeted cost model that places these operations in a single cost account. The resulting framework unifies short-term context compression, long-term memory management, and the transitions between them, and shows that the central challenge is not merely reducing information volume but deciding which information should participate in costly inference, when, and in what form. We further summarize evaluation dimensions, benchmark gaps, and open challenges, and argue that future research should move from static, pointwise compression toward dynamic, governable, lifecycle-aware memory management.