PrivDrift: Auditing User-Secret Leakage Under Topic Drift in Active LLM Conversations
作者: Luciano Maldonado
分类: cs.AI, cs.CL, cs.CR
发布日期: 2026-09-24
备注: Preprint, 10 Pages, 6 figures
💡 一句话要点
提出PrivDrift以审计用户秘密在对话主题漂移下的泄露问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户隐私 对话系统 大型语言模型 主题漂移 信息泄露 审计方法 敏感信息
📋 核心要点
- 核心问题：现有方法未能有效评估用户在对话中披露的敏感信息在主题漂移后的泄露风险。
- 方法要点：PrivDrift通过构建包含多轮对话的基准，审计用户秘密在对话主题变化中的恢复情况。
- 实验或效果：在三个大型语言模型中，发现对话级混合泄露显著，范围在38.7%到54.6%之间，且受多种因素影响。
📝 摘要（中文）
大型语言模型越来越多地作为用户的持久助手在共享会话和工具增强的环境中运行。当用户在活跃对话中披露敏感信息时，这些信息可能在对话转向无关主题后仍然可以通过后续提示恢复。我们引入了PrivDrift，一个用于审计用户披露的秘密在对话主题漂移和基于劝说的探测下是否仍然可恢复的基准。PrivDrift包含1000个控制的多轮对话，包含种子秘密、内容密集的漂移轮次和标准化的提取探测。在三个具有扩展上下文窗口的LLM中，对话级混合泄露仍然相当显著，范围从38.7%到54.6%，并且强烈依赖于模型、秘密类型和劝说强度。在测试的漂移窗口内，额外的主题漂移并未可靠地减少泄露，这表明在活跃LLM环境中，隐私风险应被评估为一种持续的行为失败模式，而不仅仅是训练数据的记忆或即时越狱行为。
🔬 方法详解
问题定义：本论文旨在解决用户在与大型语言模型（LLM）对话中披露的秘密在对话主题漂移后是否仍然可恢复的问题。现有方法主要关注训练数据的记忆或越狱行为，未能全面评估隐私风险。
核心思路：PrivDrift的核心思路是通过构建一个包含多轮对话的基准，系统性地审计用户披露的秘密在对话主题变化中的恢复情况。该设计旨在揭示对话中隐私泄露的潜在风险。
技术框架：PrivDrift的整体架构包括三个主要模块：1) 控制的多轮对话生成，2) 内容密集的漂移轮次设计，3) 标准化的提取探测方法。通过这些模块，研究能够系统地评估不同情况下的秘密泄露。
关键创新：PrivDrift的主要创新在于其综合性审计方法，能够在对话主题漂移的背景下评估用户秘密的恢复能力。这与现有方法的局限性形成鲜明对比，后者往往忽视了对话的动态性。
关键设计：在实验中，PrivDrift采用了1000个控制的多轮对话，设计了多种类型的秘密和劝说强度，以确保结果的全面性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在三个大型语言模型中，用户秘密的对话级混合泄露率高达54.6%。这一发现强调了在对话主题漂移后，隐私风险依然显著，且与模型、秘密类型和劝说强度密切相关。
🎯 应用场景
该研究的潜在应用领域包括智能助手、在线客服和社交媒体平台等，能够帮助开发者理解和改善用户隐私保护措施。通过识别和审计潜在的泄露风险，PrivDrift为设计更安全的对话系统提供了重要的理论基础和实践指导。
📄 摘要（原文）
Large language models increasingly operate as persistent assistants in user-facing, shared-session, and tool-augmented settings. When users disclose sensitive information during an active conversation, that information may remain behaviorally recoverable through later prompts even after the dialogue shifts to unrelated topics. We introduce \textbf{PrivDrift}, a benchmark for auditing whether user-disclosed secrets remain recoverable after conversational topic drift and persuasion-based probing. PrivDrift contains 1{,}000 controlled multi-turn dialogues with seeded secrets, content-dense drift turns, and standardized extraction probes. Across three LLMs with extended context windows, dialogue-level hybrid leakage remains substantial, ranging from 38.7\% to 54.6\%, and varies strongly by model, secret type, and persuasion intensity. Within the tested drift window, additional topic drift does not reliably reduce leakage, suggesting that privacy risk in active LLM contexts should be evaluated as a persistent behavioral failure mode rather than only as training-data memorization or immediate jailbreak behavior.