Not Every Change Is Necessary: Recoverable Drift in Large Language Model Unlearning

📄 arXiv: 2610.11915v1 📥 PDF

作者: Xunlei Chen, Qinghui Gong, Jingkun Xue, Qihe Liu, Shijie Zhou, Fei Ye

分类: cs.CL

发布日期: 2026-10-08

💡 一句话要点

提出PTP-U框架以解决大语言模型的可恢复遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器遗忘 大语言模型 知识更新 模型能力恢复 遗忘与保留权衡

📋 核心要点

  1. 现有的机器遗忘方法在去除不必要知识时，常常会导致非目标行为的损害，难以实现理想的遗忘效果。
  2. PTP-U框架通过局部编辑削弱目标知识，并对齐非目标输出分布，旨在在满足遗忘要求的同时恢复模型能力。
  3. 在三个基准测试中，PTP-U实现了81.22%-91.03%的遗忘率，同时保留94.20%的非目标效用，展现出显著的性能提升。

📝 摘要（中文）

机器遗忘在大语言模型中旨在去除不必要的知识，同时保留模型的其他能力。尽管现有方法使用保留目标或限制编辑位置，但实现所需的遗忘水平仍可能导致影响非目标行为的附带变化。我们的研究表明，这些变化中的一些可以在保持遗忘性能的同时被逆转。本文提出了Propose-Then-Project Unlearning (PTP-U)框架，该框架结合了有针对性的遗忘与非目标能力的恢复。PTP-U首先应用局部分析编辑以削弱目标知识关联，然后将非目标输出分布与原始模型对齐，以在保持固定遗忘约束的同时恢复能力。通过三个基准测试，PTP-U在评估方法中实现了最佳的遗忘-保留权衡，平均达到81.22%-91.03%的遗忘率，同时保留94.20%的非目标效用。

🔬 方法详解

问题定义：本文旨在解决大语言模型中机器遗忘的挑战，现有方法在去除不必要知识时，往往会导致非目标行为的损害，难以实现理想的遗忘效果。

核心思路：PTP-U框架的核心思路是结合有针对性的遗忘与非目标能力的恢复，通过局部编辑削弱目标知识关联，并对齐非目标输出分布，以满足遗忘要求的同时保留模型的其他能力。

技术框架：PTP-U的整体架构分为两个主要阶段：第一阶段是局部分析编辑，旨在削弱目标知识的关联；第二阶段是对齐非目标输出分布，以恢复模型能力并保持固定的遗忘约束。

关键创新：PTP-U的最大创新在于其结合了目标遗忘与非目标能力恢复的双重目标，显著改善了遗忘与保留之间的权衡，区别于传统方法仅关注遗忘效果。

关键设计：在设计上，PTP-U采用了局部编辑策略，具体参数设置和损失函数设计旨在优化目标知识的削弱与非目标能力的恢复，确保在满足遗忘约束的同时，最大限度地保留模型的生成流畅性和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PTP-U在三个基准测试中表现出色，遗忘率达到81.22%-91.03%，同时保留94.20%的非目标效用，展现出在遗忘与保留之间的最佳权衡，相较于其他评估方法，PTP-U在匹配遗忘时始终保持更高的非目标效用。

🎯 应用场景

该研究的潜在应用领域包括需要动态更新知识的大型语言模型，如在线学习、个性化推荐和隐私保护等场景。通过有效的机器遗忘，模型可以在不损失其他能力的情况下，快速适应新信息，提升用户体验和安全性。

📄 摘要（原文）

Machine unlearning in large language models aims to remove unwanted knowledge while preserving the model's remaining capabilities. Although existing methods use retention objectives or restrict where edits occur, achieving the desired forgetting level can still leave collateral changes that impair non-target behavior. Our recovery comparisons suggest that some of these changes can be reversed while preserving observed forgetting performance. In this work, we present Propose-Then-Project Unlearning (PTP-U), a framework that combines targeted forgetting with the recovery of non-target capabilities. PTP-U first applies local analytic edits to weaken target knowledge associations, then aligns non-target output distributions with those of the original model to recover capabilities while maintaining fixed forgetting constraints. Both stages serve a common goal: satisfying the forgetting requirements while preserving fluent generation and performance on non-target tasks. Across three benchmarks, PTP-U achieves the strongest forgetting-retention trade-off among evaluated methods, reaching 81.22%-91.03% forgetting while preserving 94.20% non-target utility on average. At matched forgetting, PTP-U consistently retains higher non-target utility.