Decouple to Forget: Semantic Mediation for Sensitive Unlearning in Large Language Models

📄 arXiv: 2610.17654v1 📥 PDF

作者: Jingyue Cong, Andy Song, Yang Yu, Tabinda Sarwar, Xinshu Li, Ziqi Xu, Xun Yi, Ke Wang, Bo Han, Estrid He

分类: cs.CL

发布日期: 2026-10-13

备注: 26 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出D2F方法以解决大语言模型中的敏感信息遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器遗忘 大语言模型 敏感信息处理 语义中介 对比优化 数据隐私 模型保留

📋 核心要点

  1. 现有机器遗忘方法通常将整个响应视为遗忘单位，导致在仅需遗忘少量敏感信息时，造成效用损失。
  2. D2F方法通过语义中介将敏感事实与非敏感内容分离，针对性地移除敏感部分，保留整体结构。
  3. 实验结果显示，D2F在多个基准数据集上表现优于现有强基线方法，实现了遗忘与保留的更好平衡。

📝 摘要（中文）

机器遗忘在大语言模型中旨在移除特定知识，同时保留一般能力。然而，现有方法通常将整个响应视为遗忘的单位，这种粗粒度处理导致在仅需遗忘少量敏感事实时，造成不必要的效用损失。本文提出了D2F（Decouple to Forget），一种受语义中介启发的有针对性的遗忘方法，能够将敏感事实内容与非敏感意义和表面表达分离。D2F通过提取事实级的“中介”表示，识别敏感部分并仅移除这些部分，保留其余结构完整。随后，基于该中介生成反事实答案，保持非敏感内容而排除敏感事实，采用基于偏好的对比优化以减少信息泄漏的可能性，同时保持答案的有用性和流畅性。实验结果表明，D2F在遗忘与保留之间取得了比强基线方法更好的平衡。

🔬 方法详解

问题定义：本文旨在解决大语言模型中敏感信息的遗忘问题，现有方法的痛点在于其粗粒度处理导致不必要的效用损失。

核心思路：D2F方法通过语义中介的方式，将敏感事实与非敏感内容分离，针对性地移除敏感部分，从而保留其他信息的完整性。

技术框架：D2F的整体架构包括三个主要模块：首先提取事实级的中介表示；其次识别并移除敏感部分；最后生成反事实答案，确保非敏感内容的保留。

关键创新：D2F的核心创新在于其针对性遗忘机制，通过中介表示实现了敏感与非敏感内容的有效分离，与现有方法的整体遗忘策略形成鲜明对比。

关键设计：在设计中，D2F采用了偏好对比优化损失函数，以减少信息泄漏的风险，同时确保生成答案的流畅性和实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，D2F在多个基准数据集上相较于强基线方法，遗忘与保留的平衡性显著提升，具体性能数据未提供，但整体效果优于现有技术，展示了其在敏感信息处理上的有效性。

🎯 应用场景

该研究的潜在应用领域包括隐私保护、数据合规性和个性化推荐等。通过有效地移除敏感信息，D2F能够帮助企业和组织在处理用户数据时，遵循法律法规，保护用户隐私，同时保持模型的整体性能和实用性。

📄 摘要（原文）

Machine unlearning for large language models seeks to remove specified knowledge while preserving general capability, yet current methods often treat an entire response as the unit of forgetting. This coarse granularity causes unnecessary utility loss when the forget target is only a small set of sensitive facts embedded within otherwise benign explanations. In this paper, we introduce Decouple to Forget (D2F), a targeted unlearning method inspired by semantic mediation that separates sensitive factual content from non-sensitive meaning and surface expression. For each example to be forgotten, D2F extracts a fact-level "mediator" representation from the answer, identifies which parts are sensitive, and removes only those parts while leaving the rest of the structure intact. We then generate counterfactual answers grounded in this mediator that preserve non-sensitive content but exclude sensitive facts, employing preference-based contrastive optimization to reduce the likelihood of information leakage while maintaining helpfulness and fluency. Experiments across various benchmark datasets show that D2F achieves a better balance between forgetting and retention than strong baseline methods. Our code is available at https://github.com/JingyueCong/D2F.