Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents
作者: Bofan Xie, Chaokun Wang, Guanchen Ge, Songyao Wang, Fang Niu, Hang Zhang, Wei Wang
分类: cs.AI
发布日期: 2026-10-13
🔗 代码/项目: GITHUB
💡 一句话要点
提出Bemula基准以解决大语言模型代理的记忆遗忘问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 记忆遗忘 大语言模型 隐私保护 智能代理 基准评估 多会话对话 用户请求
📋 核心要点
- 现有的记忆基准未能有效评估代理在用户请求下的遗忘能力，导致用户隐私保护不足。
- 本文提出Bemula基准，专注于记忆遗忘，包含多种对话实例和遗忘请求，以评估系统的遗忘能力。
- 实验结果显示，评估的系统在处理遗忘请求时表现不佳，未能有效删除用户请求的信息。
📝 摘要（中文）
长期记忆已成为大语言模型（LLM）代理的核心组成部分。随着用户长期使用代理并积累个人信息，用户越来越多地要求删除敏感或过时的信息。现有的记忆基准仅评估记忆的写入、检索和组织，未能充分评估代理在用户明确请求下的遗忘能力。为此，本文提出了Bemula，这是首个专注于记忆遗忘的基准，包含50个多会话对话实例、135种遗忘请求和1,742个测试问题。通过对六种主流记忆系统的评估，结果显示这些系统在处理遗忘请求时表现不佳，未能有效满足用户需求，表明记忆遗忘仍然是代理记忆设计中的一个开放挑战。
🔬 方法详解
问题定义：本文旨在解决大语言模型代理在用户请求下的记忆遗忘能力不足的问题。现有方法主要关注记忆的写入和检索，未能有效评估遗忘请求的处理能力。
核心思路：提出Bemula基准，通过设计多会话对话实例和遗忘请求，系统性地评估记忆系统在遗忘特定信息方面的能力。这样的设计使得评估更加全面，能够真实反映系统的遗忘性能。
技术框架：Bemula基准包含50个对话实例和135种遗忘请求，配合1,742个测试问题。每个对话都有一个控制版本，以确保只有存储了目标信息的系统才能获得遗忘的信用。评估包括存储、信息删除、无关记忆的保留等多个测试模块。
关键创新：Bemula是首个专注于记忆遗忘的基准，填补了现有记忆基准的空白。与传统方法不同，Bemula不仅评估信息的存储和检索，还关注用户请求下的遗忘能力。
关键设计：在评估过程中，设计了五个测试套件，分别测量信息存储、请求信息的删除、无关记忆的保留、相似事实的重新学习和抵御提取攻击的能力。
🖼️ 关键图片
📊 实验亮点
在Bemula基准上，评估的六种主流记忆系统在处理遗忘请求时表现不佳，所有系统在端到端的遗忘请求中通过率不超过1.5%，大多数系统甚至未能通过任何请求。这表明当前的记忆系统在满足用户隐私需求方面存在显著不足。
🎯 应用场景
该研究的潜在应用领域包括个人助手、智能客服和其他需要长期记忆的智能代理系统。通过改进记忆遗忘能力，能够更好地保护用户隐私，提升用户体验，未来可能推动智能代理在敏感信息处理方面的广泛应用。
📄 摘要（原文）
Long-term memory has become a core component of large language model (LLM) agents. As agents accumulate personal information over long-term use, users increasingly ask them to delete sensitive or outdated facts. A memory system should honor such requests. It should remove exactly what was requested and keep the rest of its memory intact. However, existing memory benchmarks evaluate only memory writing, retrieval, and organization, so whether agents can forget at the user's explicit request remains under-evaluated. To address this gap, we propose Bemula, the first benchmark dedicated to memory unlearning. It comprises 50 multi-session dialogue instances, 135 forget requests of six types, and 1,742 test questions. Each dialogue has a control version without the requests, so that only systems that have stored the target can earn credit for forgetting. Across the paired versions, five test suites measure storage, removal of the requested information, preservation of unrelated memories, relearning of similar facts, and resistance to extraction attacks. On Bemula, we evaluate six mainstream memory systems under three backbone LLMs, together with the Full Context LLM on two of them. The results are negative. Across all evaluated systems and backbones, no system passes more than 1.5% of forget requests end to end, and most pass none at all. These systems either leave the requested information extractable under simple attacks or delete far more than requested. Memory unlearning therefore remains an open challenge for agent memory design. We release our data and code at https://github.com/Nboxff/bemula-benchmark.