SAFE-Mem: Secure Agentic Memory with Fine-Grained Authority and Governance-Aware Retrieval

📄 arXiv: 2610.22959v1 📥 PDF

作者: Haoming Li, Dingyi Kang, Xu Hu, Jinxin Yang, Zhu Xu, Chenru Wang, Yi Ge, Miao Yin, Guanpeng Li, Feng Chen, Bingzhe Li

分类: cs.CR, cs.CL

发布日期: 2026-10-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出SAFE-Mem以解决大语言模型记忆安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 记忆治理 安全性 信息检索 个性化交互 治理标签 持久记忆

📋 核心要点

  1. 现有方法在处理外部信息时，无法有效防止未授权的记忆使用，导致安全风险和信息合法性问题。
  2. SAFE-Mem通过为每个声明添加治理标签，结合治理感知检索，确保信息的合法使用和安全性。
  3. 在MPBench和LoCoMo的实验中，SAFE-Mem的攻击成功率比现有防御低77%，答案准确率提升最高达15%。

📝 摘要（中文）

大语言模型（LLM）代理越来越依赖持久记忆来支持长期推理和个性化交互。然而，从外部来源收集的信息可能引入安全风险，尤其是当不可信的声明被视为授权的偏好、政策或权限时。现有的防御机制通常依赖内容过滤或粗粒度的来源追踪，无法有效防止未授权的记忆使用或阻止合法信息，从而牺牲了记忆的实用性。为了解决这些问题，本文提出了SAFE-Mem，一个细粒度的记忆治理框架，旨在提高安全性，同时保留合法的记忆使用。通过对每个声明进行三种治理标签的注释，SAFE-Mem能够捕捉其来源和允许的使用，进而实现治理感知的检索，确保阻止未授权影响的同时保留合法信息。实验结果表明，SAFE-Mem在多个LLM基础模型上表现出色，攻击成功率最低，答案准确率最高。

🔬 方法详解

问题定义：本论文旨在解决大语言模型在使用外部信息时的安全性问题，现有方法在防止未授权使用和合法信息保留方面存在不足。

核心思路：SAFE-Mem通过为每个信息声明添加治理标签，确保信息的来源和使用权限，从而实现安全的记忆管理。

技术框架：SAFE-Mem的整体架构包括三个主要模块：治理标签注释、治理感知检索和治理启用的记忆图。这些模块协同工作，确保信息的安全性和有效性。

关键创新：SAFE-Mem的核心创新在于细粒度的治理标签系统和治理感知检索机制，这与现有的粗粒度追踪方法形成鲜明对比，显著提高了安全性和信息利用率。

关键设计：在设计中，治理标签包括类型、权限和范围，确保信息的合法使用。同时，治理感知检索通过匹配查询要求与声明权限，优化了信息检索的效率和安全性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，SAFE-Mem在多个LLM基础模型上表现优异，攻击成功率比现有防御机制低77%，同时答案准确率提升最高达15%，显示出其在安全性和实用性上的显著优势。

🎯 应用场景

SAFE-Mem的研究成果可广泛应用于需要长期记忆和个性化交互的智能代理系统，如虚拟助手、客户服务机器人和个性化推荐系统。通过提高信息安全性，该框架能够增强用户信任，推动智能系统的广泛应用和发展。

📄 摘要（原文）

Large language model (LLM) agents increasingly rely on persistent memory to support long-term reasoning and personalized interactions. However, information collected from external sources can introduce security risks when untrusted claims (i.e., atomic statements) are later treated as authorized preferences, policies, or permissions. Existing defenses typically rely on content-based filtering or coarse-grained provenance tracking, which either fail to prevent unauthorized memory use or block legitimate information, sacrificing memory utility. To address these limitations, we propose SAFE-Mem, a fine-grained memory governance framework that improves security while preserving legitimate memory use. First, SAFE-Mem annotates each claim with three governance labels (i.e., kind, authority, and scope) to capture its provenance and permitted use. Second, governance-aware retrieval matches query requirements with claim permissions to block unauthorized influence while retaining legitimate information. Third, a governance-enabled memory graph connects source sentences, claims, and entities to support provenance tracking and efficient retrieval. Across four LLM backbones on MPBench and LoCoMo, SAFE-Mem attains the lowest attack success among defenses that retain legitimate memory, at least 77% below the strongest of them, and the highest answer accuracy of all evaluated defenses, improving it by up to 15%. The code is available at https://github.com/LVenum/SAFE-Mem.