Retain or Consolidate? Budget-Dependent Operator Selection for Language Agent Memory
作者: Qingcan Kang, Mingyang Liu, Shixiong Kai, Kaichao Liang, Zhentao Tang, Yuqi Cui, Tao Zhong, Mingxuan Yuan
分类: cs.AI
发布日期: 2026-07-20
💡 一句话要点
提出预算依赖的操作选择机制以优化语言代理的记忆管理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言代理 记忆管理 预算依赖 操作选择 整合策略 效用估计 离线抽象安全 信息检索
📋 核心要点
- 现有的记忆管理策略在预算限制下难以平衡保留和整合，导致信息丢失或覆盖不足。
- 本文提出了一种预算依赖的操作选择机制，通过分析操作效用来决定何时整合替代保留。
- 在LongMemEval和LoCoMo基准上，整合策略在紧张预算下显著提高了准确率，验证了方法的有效性。
📝 摘要（中文）
语言代理在交互中依赖记忆，但大型语言模型（LLMs）的有限上下文窗口和推理成本限制了可用记忆的量。现有系统主要采用记忆保留和记忆整合两种策略。保留策略保持原始记录并保留确切细节，但在预算紧张时相关证据可能无法适应；整合策略压缩和组合记录，提高每个标记的覆盖率，但可能会丢失关键细节。本文通过将每个操作的效用分解为对被保留证据的覆盖效应和对已适应原始证据的替代效应，形式化了这一决策。我们实现了离线抽象安全（OAS）机制，估计来自预生成特征的操作效用。实验结果表明，在预算紧张时，整合策略的绝对准确率提高了48%。
🔬 方法详解
问题定义：本文旨在解决语言代理在记忆管理中面临的预算限制问题。现有方法在保留和整合策略之间缺乏有效的选择机制，导致信息的丢失或覆盖不足。
核心思路：论文提出了一种预算依赖的操作选择机制，通过将每个操作的效用分解为覆盖效应和替代效应，来指导何时选择整合而非保留。
技术框架：整体架构包括离线抽象安全（OAS）模块，该模块通过预生成特征估计操作效用，并进行有害校准。主要阶段包括特征提取、效用估计和决策制定。
关键创新：最重要的创新在于将操作效用的分析与预算压力相结合，形成了一种动态的决策机制，能够根据不同的预算情况灵活选择操作。
关键设计：在设计中，OAS模块采用轻量级学习算法，使用特征提取和有害校准来优化操作选择，确保在不同预算条件下的最佳性能。实验中还验证了跨笔记抽象和合并在压缩需求下的优越性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在LongMemEval基准上，整合策略在预算紧张时的绝对准确率提高了48%，而在预算宽松时则保留策略表现更佳。LoCoMo基准也验证了这一交叉点，表明该方法在不同预算条件下的普适性和有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、对话系统和信息检索等场景，能够有效提升语言代理在资源受限环境下的记忆管理能力，增强用户体验。未来，该方法有望推动更高效的记忆管理策略的开发，适应更复杂的交互需求。
📄 摘要（原文）
Language agents depend on memory across interactions. However, the limited context windows of large language models (LLMs) and their inference costs constrain how much memory can be used at once. Existing systems mainly follow two strategies: memory retention and memory consolidation. Retention keeps raw records and preserves exact details, but relevant evidence may not fit under a tight budget; consolidation compresses and combines records, improving coverage per token but risking the loss of query-critical details. Neither strategy is universally preferable. This raises two central questions: when should consolidation replace retention, and which operator -- Merge, Abstract, or Rewrite -- should be selected? We formalize this decision by decomposing each operator's utility into a coverage effect on evidence omitted by retention and a signed replacement effect on raw evidence that already fits. Their balance explains why the preferred action changes with relative budget pressure. We implement this mechanism with Offline Abstraction-Safety (OAS), a lightweight learner that estimates action utilities from pre-generation features with held-out harm calibration. The public LongMemEval and LoCoMo benchmarks show the same budget-dependent pattern. On LongMemEval, consolidation improves absolute accuracy by up to 48% under tight budgets, whereas retention is preferable under loose budgets; LoCoMo replicates this crossover at a smaller budget, consistent with its shorter evidence. On both datasets, cross-note abstraction and merging generally outperform local rewriting when compression is necessary.