Mitigating Private Data Leakage in LLMs with Whiteout

📄 arXiv: 2610.02418v1 📥 PDF

作者: Anna Yoo Jeong Ha, Ronik Bhaskar, Haitao Zheng, Ben Y. Zhao

分类: cs.CR, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出Whiteout以解决大型语言模型中的私人数据泄露问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 隐私保护 数据泄露 模糊样本 机器学习

📋 核心要点

  1. 现有的隐私保护方法往往会过度删除信息，导致模型效用下降和安全性降低。
  2. Whiteout通过精确设计的模糊样本，能够有效覆盖LLMs中的私人敏感信息，避免泄露。
  3. 实验结果显示，Whiteout在多种模型上均有效防止PSI泄露，且对模型性能影响极小。

📝 摘要（中文）

现代大型语言模型（LLMs）在训练过程中使用了大量未经过滤的数据集，包括从几乎所有可访问网站和用户输入中抓取的内容。这导致LLMs常常记忆并重现个人敏感信息（PSI），如出生日期、电话号码和家庭地址，从而带来显著的隐私风险。现有的缓解措施主要依赖于机器遗忘，但这些方法往往会删除过多信息，降低模型的效用和安全性，并且容易受到攻击。本文提出了Whiteout，这是一种实用工具，可以在个人请求下，通过使用精确设计的模糊样本来防止LLMs重现其真实的PSI。实验结果表明，Whiteout有效防止了目标PSI的泄露，对模型的效用和安全性影响微乎其微，并且优于现有替代方案。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中私人敏感信息（PSI）泄露的问题。现有的机器遗忘方法往往会删除过多信息，影响模型的实用性和安全性。

核心思路：Whiteout的核心思路是通过精确设计的模糊样本来覆盖模型记忆中的PSI，从而防止其泄露。这种方法旨在在不显著影响模型性能的情况下保护用户隐私。

技术框架：Whiteout的整体架构包括请求处理模块、模糊样本生成模块和模型更新模块。用户请求触发模糊样本的生成，并通过更新模型来覆盖敏感信息。

关键创新：Whiteout的主要创新在于其模糊样本的设计和应用，使得模型能够在不损失重要信息的情况下，有效防止PSI泄露。这与传统的机器遗忘方法形成鲜明对比。

关键设计：在设计中，Whiteout使用了特定的模糊样本生成算法，确保覆盖的有效性和准确性。同时，模型更新过程采用了优化的损失函数，以最小化对模型性能的影响。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，Whiteout在多种现代大型语言模型上均能有效防止PSI泄露，且对模型的效用和安全性影响微乎其微。与现有方法相比，Whiteout在防泄露效果上表现出显著优势，具体性能提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括社交媒体、在线客服和任何涉及用户交互的场景。通过有效保护用户的私人敏感信息，Whiteout能够提升用户信任度，降低隐私泄露风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Modern large language models (LLMs) are trained on massive, largely unfiltered datasets, including content scraped from nearly every accessible website and user inputs. As a result, LLMs often memorize and reproduce personally sensitive information (PSI) such as birth dates, phone numbers, and home addresses. This leads to significant privacy risks, particularly for high-profile individuals such as executives, politicians, and judges. Existing mitigations largely rely on machine unlearning. However, these methods often remove more information than needed, degrade model utility and safety, and are highly vulnerable to attacks. This paper presents Whiteout, a practical tool that, upon requests by individuals, prevents LLMs from regurgitating their genuine PSIs, by overwriting them using precise and carefully designed obfuscation samples. We evaluate Whiteout on modern LLMs of varying sizes and makers, including a widely-used OpenAI model. Results show that Whiteout effectively prevents disclosure of the targeted PSIs, has negligible impact on model utility and safety, and outperforms existing alternatives. We also test Whiteout against a wide range of countermeasures, from black-box attacks like jailbreaking to white-box adaptive attacks like relearning and quantization. Finally, we conclude with a discussion on the security and ethical implications of Whiteout.