"Nothing to See Here'': Unintended Disclosure through Revision Traces of LLM Deliverables
作者: Yage Zhang, Yukun Jiang, Yang Zhang
分类: cs.CR, cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出RevLeakBench以解决LLM交互中的意外信息泄露问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 信息泄露 修订痕迹 隐私保护 基准测试 内容生成
📋 核心要点
- 现有的LLM助手在用户编辑内容时，可能会无意中泄露敏感信息，尤其是在修订说明中。
- 本文提出RevLeakBench基准，通过系统化的任务评估修订痕迹的发生和信息恢复情况。
- 实验结果表明，约36.4%的交付内容仍然存在修订痕迹，且提出的过滤器能有效减少信息恢复的风险。
📝 摘要（中文）
大型语言模型（LLM）助手在帮助用户撰写内容时，可能会在编辑过程中无意中泄露敏感信息。本文研究了在用户删除某些内容后，模型在编辑说明中可能留下的修订痕迹，这些痕迹可能被第三方接收者恢复。通过对三个公共对话语料库的分析，发现8.8%的修订请求留下了修订痕迹。为深入研究，提出了RevLeakBench基准，涵盖100个任务，评估修订痕迹的发生率和恢复情况。研究结果显示，约36.4%的交付内容仍然存在修订痕迹，提出的输出侧过滤器能够显著减少信息恢复的可能性。
🔬 方法详解
问题定义：本文关注大型语言模型在用户删除敏感信息后，如何在编辑说明中无意中泄露这些信息的问题。现有方法未能有效防止这种意外信息泄露，导致用户隐私风险增加。
核心思路：论文提出RevLeakBench基准，通过设计一系列任务来系统评估修订痕迹的发生率和信息恢复情况，并提出输出侧过滤器作为解决方案，以减少信息泄露的风险。
技术框架：整体架构包括数据收集、修订请求分析、RevLeakBench基准设计和输出侧过滤器的实现。主要模块包括对话轨迹和代理轨迹的任务评估，以及修订痕迹的检测与分析。
关键创新：最重要的技术创新在于RevLeakBench基准的提出，系统化地评估修订痕迹的影响，并引入输出侧过滤器，显著降低了信息恢复的可能性。
关键设计：在实验中，设置了不同的修订请求和对话场景，使用了多种模型进行对比，关键参数包括修订痕迹的检测算法和过滤器的阈值设置。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在六个模型中，约50%的交付内容在撤回后仍然表述了编辑，且约13%的情况下，接收者能够恢复撤回的信息。此外，提出的输出侧过滤器能够在保持必要内容的同时，显著减少信息恢复的可能性。
🎯 应用场景
该研究的潜在应用领域包括任何依赖大型语言模型进行内容生成的场景，如客户支持、文档撰写和编程助手等。通过理解和减轻意外信息泄露的风险，可以提升用户对LLM助手的信任，促进其在更广泛领域的应用。
📄 摘要（原文）
Large language model (LLM) assistants increasingly help users draft content for third-party recipients. During private drafting, the user or the model may introduce an item and later remove or replace it. The model may remove the item from the intended content but reveal it again when stating the edit. We call such statements revision traces. For example, after a user removes the password before sharing a configuration file, the model may delete it but leave a comment saying, "Removed the password 'No****4!' as requested." A third-party recipient who sees only the delivered file can therefore recover the withdrawn password from the comment. In an in-the-wild analysis of three public conversation corpora, we identify 26,753 revision requests, of which 2,363 (8.8%) leave revision traces. We study them in greater depth under controlled conditions by introducing RevLeakBench, a benchmark of 100 tasks across five scenarios with a conversation track and an agent track. We measure trace occurrence, withdrawn-item recovery, trace position, and required-content retention. Across six models, about half of the deliverables in both tracks state the edit after a revocation, and a reader that sees only the deliverable can recover the withdrawn item from about 13% of them. Telling the model that its entire reply will be forwarded to the recipient still leaves revision traces in 36.4% of the deliverables. We compare prompt defenses and a delivery boundary, and propose an output-side filter that sharply reduces recovery with little loss of required content. We believe our work can benefit efforts to understand and mitigate unintended disclosure in LLM interactions.