On Effects of Steering Latent Representation for Large Language Model Unlearning

📄 arXiv: 2408.06223v3 📥 PDF

作者: Dang Huu-Tien, Trung-Tin Pham, Hoang Thanh-Tung, Naoya Inoue

分类: cs.CL, cs.AI

发布日期: 2024-08-12 (更新: 2025-02-06)

备注: Accepted at AAAI-25 Main Technical Track

💡 一句话要点

提出自适应表示误导（Adaptive RMU）方法，提升大语言模型中间层遗忘效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 遗忘学习 表示学习 自适应方法 模型安全

📋 核心要点

  1. 现有RMU方法在LLM中间层遗忘中表现良好，但其内在机理和最佳应用层选择仍缺乏深入理解。
  2. 论文提出自适应RMU（Adaptive RMU）方法，通过调整策略使遗忘在LLM的更多层中有效。
  3. 实验表明，Adaptive RMU在遗忘性能上显著优于现有技术，且无需额外的计算资源。

📝 摘要（中文）

本文研究了用于大语言模型（LLM）遗忘的表示误导（RMU）方法，该方法通过将中间层的模型表示引导至目标随机表示来实现遗忘。尽管RMU性能良好，但其根本原因和解释仍未被充分探索。本文从理论上证明，在中间层引导遗忘表示会降低token置信度，导致LLM生成错误或无意义的响应。我们研究了系数如何影响遗忘样本表示与随机方向的对齐，并暗示了不同网络层中有效遗忘的最佳系数值。我们表明，RMU遗忘后的模型对对抗性越狱攻击具有鲁棒性。此外，我们的实证分析表明，RMU应用于LLM的中间层和后期层时效果较差。为了解决这个缺点，我们提出了一种自适应RMU方法——一种简单而有效的替代方法，可以使遗忘在大多数层中都有效。大量的实验表明，与现有技术相比，自适应RMU显著提高了遗忘性能，且没有产生额外的计算成本。

🔬 方法详解

问题定义：现有基于表示误导（RMU）的LLM遗忘方法，虽然有效，但应用于LLM的中间层和后期层时效果不佳，限制了其应用范围和灵活性。同时，缺乏对RMU方法内在机理的深入理解，难以指导参数调优和模型改进。

核心思路：论文的核心思路是提出一种自适应的RMU方法（Adaptive RMU），该方法能够根据不同网络层的特性，动态调整表示误导的强度，从而使遗忘操作在LLM的更多层中有效。通过理论分析，揭示了RMU方法降低token置信度的内在机理，为自适应调整提供了理论依据。

技术框架：Adaptive RMU方法沿用了RMU的基本框架，即在LLM的中间层，通过将模型表示引导至目标随机表示来实现遗忘。关键在于引入了自适应机制，根据不同层的特性调整引导强度。整体流程包括：1）选择需要遗忘的样本；2）确定进行表示误导的网络层；3）根据该层的特性，自适应地调整表示误导的系数；4）执行表示误导操作，更新模型参数。

关键创新：Adaptive RMU的关键创新在于其自适应性。它不再采用固定的表示误导强度，而是根据不同网络层的特性，动态调整引导系数。这种自适应性使得遗忘操作在LLM的更多层中有效，提高了遗忘的灵活性和性能。

关键设计：Adaptive RMU的关键设计在于如何实现自适应的系数调整。论文可能基于理论分析或经验观察，提出了一种根据网络层特性（例如，层深度、激活函数的梯度等）来计算引导系数的策略。具体的计算公式和参数设置需要在论文中查找。此外，损失函数的设计可能也需要考虑自适应性，以确保遗忘操作的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Adaptive RMU在遗忘性能上显著优于现有的RMU方法，且无需额外的计算成本。具体性能提升数据需要在论文中查找。此外，实验还验证了RMU遗忘后的模型对对抗性越狱攻击具有鲁棒性，增强了模型的安全性。

🎯 应用场景

该研究成果可应用于对大型语言模型进行安全和隐私保护。例如，当模型包含不希望公开或违反法规的信息时，可以使用该方法选择性地遗忘这些信息，同时保留模型的其他能力。这对于合规性要求高的行业，如金融、医疗等，具有重要意义。

📄 摘要（原文）

Representation Misdirection for Unlearning (RMU), which steers model representation in the intermediate layer to a target random representation, is an effective method for large language model (LLM) unlearning. Despite its high performance, the underlying cause and explanation remain underexplored. In this paper, we theoretically demonstrate that steering forget representations in the intermediate layer reduces token confidence, causing LLMs to generate wrong or nonsense responses. We investigate how the coefficient influences the alignment of forget-sample representations with the random direction and hint at the optimal coefficient values for effective unlearning across different network layers. We show that RMU unlearned models are robust against adversarial jailbreak attacks. Furthermore, our empirical analysis shows that RMU is less effective when applied to the middle and later layers in LLMs. To resolve this drawback, we propose Adaptive RMU--a simple yet effective alternative method that makes unlearning effective with most layers. Extensive experiments demonstrate that Adaptive RMU significantly improves the unlearning performance compared to prior art while incurring no additional computational cost.