Maximizing Local Entropy Where It Matters: Prefix-Aware Localized LLM Unlearning

📄 arXiv: 2601.03190v1 📥 PDF

作者: Naixin Zhai, Pengyang Shao, Binbin Zheng, Fei Shen, Long Bai, Xun Yang

分类: cs.CL

发布日期: 2026-01-06

💡 一句话要点

提出PALU框架，通过局部熵最大化实现高效且低损的大语言模型定向遗忘。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 机器遗忘 局部熵最大化 隐私保护 定向遗忘

📋 核心要点

  1. 现有LLM遗忘方法全局处理token，导致不必要的效用损失，且优化范围过大。
  2. PALU框架通过局部熵最大化，仅关注敏感前缀和top-$k$ logits，实现高效遗忘。
  3. 实验表明，PALU在遗忘效果和通用性能保持方面优于现有技术。

📝 摘要（中文）

本文提出了一种名为PALU（Prefix-Aware Localized Unlearning）的框架，旨在解决大语言模型（LLM）中的机器遗忘问题。现有方法通常无差别地处理响应中的所有token，并在整个词汇表上强制执行不确定性，导致不必要的效用下降，并将优化扩展到与内容无关的区域。PALU通过在时间和词汇维度上最大化局部熵来解决这些限制。研究表明，仅抑制敏感前缀就足以切断因果生成链接，并且仅展平top-$k$ logits就足以最大化关键子空间中的不确定性。这使得PALU能够避免在整个词汇表和参数空间上的冗余优化，同时最大限度地减少对通用模型性能的附带损害。大量实验验证了PALU相比最先进的基线方法，在遗忘效果和效用保持方面均表现出更优越的性能。

🔬 方法详解

问题定义：现有的大语言模型遗忘方法通常采用全局策略，即对模型生成的所有token一视同仁，并在整个词汇表上强制增加不确定性。这种做法的痛点在于，它会不必要地降低模型的通用能力，并且将优化过程扩展到与遗忘目标无关的区域，造成计算资源的浪费。例如，模型在生成一段文本时，可能只有开头的部分涉及敏感信息，但全局方法会影响整个文本的生成质量。

核心思路：PALU的核心思路是进行局部化的遗忘，即只针对与敏感信息相关的部分进行优化，从而避免对模型整体性能造成过大的影响。具体来说，PALU关注两个关键维度：时间和词汇。在时间维度上，PALU发现只需要抑制敏感信息的前缀，就可以有效地切断因果生成链。在词汇维度上，PALU只展平top-$k$个logits，从而在关键子空间内最大化不确定性。

技术框架：PALU框架主要包含以下几个阶段：1) 确定需要遗忘的敏感信息；2) 识别包含敏感信息的前缀；3) 计算模型在生成这些前缀时的logits；4) 仅对top-$k$个logits进行调整，以最大化局部熵；5) 使用调整后的logits重新训练模型，使其忘记敏感信息。

关键创新：PALU最重要的技术创新点在于其局部化的遗忘策略。与现有方法相比，PALU不再盲目地对所有token和所有词汇进行优化，而是有针对性地选择需要遗忘的部分。这种局部化的策略可以显著提高遗忘效率，并减少对模型通用性能的损害。PALU通过prefix-aware的方式，仅关注敏感信息的前缀，避免了对整个生成过程的干扰。

关键设计：PALU的关键设计包括：1) 前缀识别机制，用于准确地识别包含敏感信息的前缀；2) top-$k$ logits选择策略，用于确定需要调整的logits数量。$k$值的选择需要权衡遗忘效果和性能损失。3) 局部熵最大化损失函数，用于指导模型忘记敏感信息。损失函数的设计需要保证模型在忘记敏感信息的同时，尽可能地保留通用能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PALU在遗忘敏感信息的同时，能够更好地保持模型的通用性能。与state-of-the-art的基线方法相比，PALU在遗忘效果上取得了显著提升，同时在各种下游任务上的性能下降更小。具体的性能数据（例如，遗忘率提升百分比、下游任务性能下降百分比）在论文中进行了详细展示。

🎯 应用场景

PALU框架可应用于各种需要保护用户隐私和数据安全的场景，例如：在线客服、智能问答、内容生成等。通过PALU，可以有效地从LLM中移除敏感信息，防止模型泄露用户隐私或生成不当内容。此外，PALU还可以用于模型的安全更新和维护，确保模型在不断学习新知识的同时，不会意外地记住或传播有害信息。未来，PALU有望成为LLM安全部署的关键技术之一。

📄 摘要（原文）

Machine unlearning aims to forget sensitive knowledge from Large Language Models (LLMs) while maintaining general utility. However, existing approaches typically treat all tokens in a response indiscriminately and enforce uncertainty over the entire vocabulary. This global treatment results in unnecessary utility degradation and extends optimization to content-agnostic regions. To address these limitations, we propose PALU (Prefix-Aware Localized Unlearning), a framework driven by a local entropy maximization objective across both temporal and vocabulary dimensions. PALU reveals that (i) suppressing the sensitive prefix alone is sufficient to sever the causal generation link, and (ii) flattening only the top-$k$ logits is adequate to maximize uncertainty in the critical subspace. These findings allow PALU to avoid redundant optimization across the full vocabulary and parameter space while minimizing collateral damage to general model performance. Extensive experiments validate that PALU achieves superior forgetting efficacy and utility preservation compared to state-of-the-art baselines.