Disclosure Begets Disclosure: A Self-Reinforcing Privacy Loop in LLM Agents with Persistent Memory
作者: Masahiro Kaneko, Hiromi Arai, Timothy Baldwin
分类: cs.CR, cs.CL, cs.LG
发布日期: 2026-10-20
💡 一句话要点
提出自我强化隐私循环以解决LLM代理的隐私泄露问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 隐私保护 持久内存 自我强化循环 用户属性 对话系统 信息泄露
📋 核心要点
- 现有方法在使用持久内存时，容易导致用户个人信息的泄露，尤其是在多轮对话中。
- 论文提出了一种自我强化的隐私循环机制，通过控制代理的响应来减少隐私泄露。
- 实验结果表明，适当的响应策略可以将隐私泄露降低到无内存水平，同时保持响应质量的提升。
📝 摘要（中文）
大型语言模型（LLM）代理越来越多地使用持久内存来个性化响应，但内存中的个人属性在暴露时会带来隐私风险。本文探讨了在对话中咨询内存如何改变用户的发言，从而影响内存的揭示。在多会话模拟中，模拟用户与支持代理进行对话，发现内存提高了响应质量，但也导致了属性值的泄露，且这种泄露随着会话的增加而加剧。用户在纠正值时会泄露属性，而不讨论则会使后续预测倾向于敏感值。通过不让代理提及或假设属性，可以显著降低泄露，同时保持大部分质量提升。
🔬 方法详解
问题定义：本文旨在解决大型语言模型代理在使用持久内存时可能导致的用户隐私泄露问题。现有方法在多轮对话中容易引发用户个人属性的暴露，影响隐私安全。
核心思路：论文提出通过调整代理的响应策略，避免在对话中提及或假设用户的个人属性，从而减少信息泄露的风险。这种设计旨在打破隐私泄露的自我强化循环。
技术框架：整体架构包括用户与代理的多轮对话模拟，代理在不同条件下（有无内存）进行响应。主要模块包括用户属性的记录、代理的响应生成和隐私泄露的评估。
关键创新：最重要的创新在于识别并利用隐私循环的特性，通过控制代理的行为来降低信息泄露。这与传统方法不同，后者往往未能考虑用户与代理之间的互动影响。
关键设计：在实验中，设计了不同的响应策略，包括禁止代理提及用户属性和假设属性的机制。通过这些设计，能够有效降低隐私泄露，同时保持响应质量的提升。具体参数设置和损失函数的选择也经过精心调整，以确保模型的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用新策略后，隐私泄露率显著降低，达到无内存水平，而响应质量提升保持在较高水平。具体而言，去除代理对属性的提及，使得泄露减少约两倍，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括客户支持、社交机器人和个性化助手等。通过改进隐私保护机制，可以在保证用户体验的同时，增强用户对系统的信任，促进更广泛的应用和接受度。未来，该研究可能影响隐私保护技术的发展，推动更安全的人工智能系统设计。
📄 摘要（原文）
Large language model (LLM) agents increasingly use persistent memory to personalize responses, and personal attributes in this memory pose a privacy risk if exposed. We ask how consulting memory during dialogue changes what users go on to say, and thus what the memory comes to reveal. In multi-session simulations, a simulated user with 24 personal attributes talks with a support agent that does or does not consult memory, and in both settings attributes are inferred from the full accumulated record. Across four support models, memory raises response quality but also empirical leakage, the share of attribute values correctly inferred from the record, by a margin that widens over sessions. The cause is a loop in ordinary, non-adversarial assistance. Memory-conditioned responses carry earlier values forward, often as presuppositions, and users affirm them or leave them uncorrected, so that cues and the agent's own guesses become recorded values. The loop reinforces itself, and removing the agent's mentions of an attribute lowers its later disclosure about twice as much as single-turn effects predict. Users cannot leave it on their own, since correcting a value discloses the attribute, declining to discuss it shifts later predictions toward sensitive values, and incorrect values left in place become entrenched. The loop is best weakened at the agent's response. Instructing the agent not to state or presuppose attributes brings leakage to about the no-memory level while keeping most of the quality gains, whereas filtering or anonymizing what users say or what is stored gives up much of them.