TRACE: Data-Free Text Reconstruction Attacks against Approximate Unlearning in LLMs

📄 arXiv: 2610.31995v1 📥 PDF

作者: Mengying Zhang, Derui Wang, Ibrahim Khalil, Bowen Liu, Xiaoyu Xia, Minhui Xue

分类: cs.CR, cs.LG

发布日期: 2026-10-22

备注: Accepted to The Fortieth Annual Conference on Neural Information Processing Systems (NeurIPS 2026)

💡 一句话要点

提出TRACE框架以解决LLMs近似遗忘中的隐私泄露问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 近似遗忘 数据隐私 模型快照 重构攻击 对比评分机制 参数差异

📋 核心要点

  1. 现有的近似遗忘方法在删除数据时可能留下可恢复的残余痕迹，导致隐私泄露风险。
  2. TRACE框架通过分析模型快照的参数差异，重构被遗忘的训练数据，无需任何数据特定的先验知识。
  3. 在多个数据集和六种代表性近似遗忘方法上，TRACE实现了高保真的数据重构，展示了其有效性。

📝 摘要（中文）

随着大型语言模型（LLMs）对数据删除的需求日益增长，近似遗忘成为一种实用的替代方案。然而，模型快照的维护引入了未被重视的侧信道，可能导致隐私泄露。本文提出TRACE框架，能够在无数据特定先验知识的情况下，通过对比模型快照重构被遗忘的训练数据。TRACE通过识别嵌入级参数差异中的候选标记集来限制搜索空间，并利用基于困惑度差的对比评分机制组装序列。大量实验表明，TRACE在多个数据集和LLMs上实现了高保真重构，揭示了当前近似遗忘部署中的重大隐私风险。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在近似遗忘过程中可能留下的隐私泄露问题。现有方法在删除数据时，模型快照的维护可能导致残余信息的恢复，进而引发隐私风险。

核心思路：TRACE框架的核心思想是利用模型快照之间的参数差异，重构被遗忘的训练数据。通过识别候选标记并利用对比评分机制，TRACE能够在没有数据特定先验知识的情况下进行有效重构。

技术框架：TRACE的整体架构包括两个主要阶段：首先是探索阶段，通过分析模型快照的嵌入级参数差异，识别出一组候选标记；其次是完成阶段，利用对比评分机制根据困惑度差组装出可能的训练数据序列。

关键创新：TRACE的主要创新在于其无数据特定先验知识的重构能力，以及通过对比评分机制实现的高效序列组装。这与现有方法依赖于具体数据的重构方式有本质区别。

关键设计：TRACE在参数设置上采用了紧凑的候选标记集，损失函数设计为基于困惑度差的对比评分，确保了重构的高保真性。

🖼️ 关键图片

fig_0

📊 实验亮点

在TOFU、MUSE和WMDP等多个数据集上进行的实验表明，TRACE实现了高保真重构，性能显著优于六种代表性近似遗忘方法，展示了其在隐私保护方面的有效性。

🎯 应用场景

TRACE框架在数据隐私保护、合规性和版权问题日益突出的背景下，具有广泛的应用潜力。它可以用于评估和增强大型语言模型的安全性，帮助开发更安全的AI系统，防止敏感信息泄露。

📄 摘要（原文）

As large language models (LLMs) face growing demands for data removal driven by regulatory compliance, copyright concerns, and privacy protection, approximate unlearning has emerged as a practical alternative to expensive full retraining. In practice, pre- and post-unlearning model snapshots are often maintained for auditing and rollback, introducing a previously overlooked side channel. This paper demonstrates that approximate unlearning in LLM can leave residual traces within model snapshots, which may be recoverable and thus enable the privacy breaches that approximate unlearning is intended to prevent. Here, we propose TRACE, a framework that reconstructs unlearned training data given access to pre- and post-unlearning model snapshots, without any data-specific prior knowledge. To achieve this, TRACE identifies a compact set of candidate tokens from embedding-level parameter differences to constrain the search space, and assembles sequences via a contrastive scoring mechanism based on the perplexity gap between the two models. A two-stage exploration-then-completion strategy enables the recovery of multiple distinct samples. Extensive experiments on various datasets, including TOFU, MUSE, and WMDP, across multiple LLMs and six representative unlearning methods, demonstrate that TRACE achieves high-fidelity reconstruction. This paper exposes significant privacy risks in current LLM approximate unlearning deployments and highlights the need for defenses against parameter-difference leakage and appropriate management of model snapshot access.