MemCut: Every Secret Leaves a Trail in the Long-Term Memory of LLM Agents
作者: Cheng Zhang, Xuanning Cao, Zhicheng Zheng, Hui Xiong
分类: cs.AI
发布日期: 2026-10-15
备注: 17 pages, 4 figures, 13 tables, including appendices
💡 一句话要点
提出MemCut以解决大语言模型的用户数据遗忘问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时记忆 用户隐私 信息遗忘 大语言模型 恢复度量 基准测试 敏感数据
📋 核心要点
- 现有方法在处理用户请求遗忘时，往往无法有效删除敏感信息，导致隐私风险。
- 本文提出MemCut基准，通过设计456个秘密和相应的证据轨迹，系统评估用户请求遗忘的能力。
- 实验结果显示，现有检索器在删除后仍存在39-76%的信息恢复率，揭示了候选覆盖范围的瓶颈。
📝 摘要（中文）
长时记忆已成为大语言模型（LLM）代理的重要组成部分，现有研究主要集中在准确和高效地检索相关信息。然而，可靠的记忆系统还必须在用户请求时忘记敏感数据。为评估这一能力，本文提出了MemCut，一个系统化的用户请求遗忘基准。该基准包含456个手工设计的秘密，旨在测试删除后的恢复能力，包括从未直接陈述秘密的消息中提取信息。我们提出了两种恢复度量标准，并建立了三种参考删除基线，以测试现有检索器和写入模型在五种记忆设计和四种LLM中的遗忘支持能力。
🔬 方法详解
问题定义：本文旨在解决大语言模型在用户请求遗忘时无法有效删除敏感信息的问题。现有方法在隐私保护方面存在不足，无法确保用户数据的彻底遗忘。
核心思路：MemCut基准通过设计手工秘密和证据轨迹，系统地评估和测试用户请求遗忘的能力，确保在删除后仍能准确评估信息恢复情况。
技术框架：MemCut的整体架构包括秘密设计、证据轨迹构建、恢复度量标准的定义，以及参考删除基线的建立，涵盖了五种记忆设计和四种大语言模型。
关键创新：最重要的创新在于提出了两种恢复度量标准（原生恢复和残余恢复），并通过系统化的基准测试评估现有方法在遗忘支持方面的能力。
关键设计：在实验中，设置了三种参考删除基线，采用144个事实进行子集扫描，分析了候选覆盖范围对恢复能力的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有检索器在删除后仍存在39-76%的信息恢复率，显示出原生恢复的下降幅度远大于残余恢复。此外，扩大候选池在固定预算下能显著降低残余恢复，揭示了候选覆盖范围的关键性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体、在线客服和个人助理等场景，能够有效保护用户隐私，确保敏感信息在用户请求下被彻底遗忘，提升用户对大语言模型的信任度和使用体验。
📄 摘要（原文）
Long-term memory has become a crucial component of large language model (LLM) agents, with most research focusing on retrieving relevant information accurately and efficiently. However, a dependable memory system must also forget sensitive user data upon request. To evaluate this capability, we introduce MemCut, a systematic benchmark for user-requested forgetting. Its 456 hand-designed secrets in long-horizon conversations have fully annotated evidence trails to test recovery after deletion, including from messages that never state the secrets directly. We propose two recovery metrics. Native recovery measures reader success through the system's retrieval, whereas residual recovery measures the same reader's success when directly given surviving objects traced to annotated disclosures or evidence. We establish three reference deletion baselines to test how far existing retrievers and write models support forgetting across five memory designs and four LLMs. Disclosure removal reduces native recovery far more than residual recovery. LLM-guided deletion of ten additional turns from twenty retrieval candidates leaves 39-76% residual recovery. Subset sweeps (144 facts, three systems, two models) show that widening the pool at a fixed budget reduces residual recovery more than deleting all original candidates. These sweeps identify candidate coverage as a bottleneck in the reference baselines.