Forgetting Only What Matters: Layer-Selective Unlearning toward Robust LLMs
作者: Ravi Ranjan, Olivera Kotevska, Agoritsa Polyzou
分类: cs.LG, cs.AI
发布日期: 2026-09-09
备注: 22 pages, 6 figures, 11 tables, AACL-IJCNLP 2026, conference paper
💡 一句话要点
提出层选择性遗忘方法以增强大语言模型的鲁棒性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 机器遗忘 层选择性遗忘 隐私保护 量化鲁棒性 自然语言处理 模型效用
📋 核心要点
- 现有的机器遗忘方法通常采用广泛的参数更新，可能导致模型效用下降，并在后续部署中表现不佳。
- 本文提出的FOM-UL框架通过层选择性遗忘，利用重要性评分来优化更新，集中在影响较大的层上。
- 实验结果表明，FOM-UL在多个基准测试中显著减少了残余记忆，同时保留了接近原始模型的效用。
📝 摘要（中文）
大型语言模型（LLMs）可能会记忆并重现敏感、受版权保护或其他不当的训练内容，从而引发隐私、安全和监管问题。机器遗忘提供了一种比完全重训练更实用的替代方案，但许多现有方法采用广泛或固定的参数更新，可能会降低模型效用，并在后续部署变化（如后训练量化）中变得脆弱。本文提出了通过遗忘层选择性遗忘（FOM-UL）的方法，该框架通过遗忘-保留重要性评分选择变换器层，专注于有效的更新，从而改善遗忘与效用的权衡，并在后训练量化中保持更强的遗忘抑制和效用保留。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在遗忘不当内容时的效用下降问题。现有方法往往采用广泛的参数更新，导致模型在后续部署中变得脆弱，尤其是在后训练量化时，遗忘的知识可能部分重新出现。
核心思路：FOM-UL通过层选择性遗忘的方式，利用遗忘-保留重要性评分来识别对遗忘集影响大的层，并减少对保留集的敏感性，从而集中更新在最有效的层上。
技术框架：FOM-UL的整体架构包括三个主要模块：首先，计算每层的遗忘-保留重要性评分；其次，选择需要更新的层；最后，执行针对性的参数更新，以实现有效的遗忘。
关键创新：FOM-UL的核心创新在于其层选择性更新策略，能够在保持大部分模型不变的情况下，优化遗忘与效用的权衡。这与现有方法的广泛更新策略形成鲜明对比。
关键设计：在FOM-UL中，重要性评分的计算方法和层选择机制是关键设计，确保了更新的有效性。同时，针对低比特量化的设计考虑，减少了小的、分散的更新被低比特舍入所抹去的风险。
🖼️ 关键图片
📊 实验亮点
在TOFU、KnowUnDo和MUSE风格的评估中，FOM-UL相比于GA、NPO、KLD、SURE、ReLearn和LUNAR等强基线，显著减少了残余记忆。同时，在8位和4位后训练量化下，FOM-UL在遗忘抑制和效用保留方面表现优于竞争方法，且对抗性提示评估显示遗忘内容的恢复率更低。
🎯 应用场景
该研究的潜在应用领域包括需要处理敏感信息的自然语言处理任务，如法律文本分析、医疗记录处理等。通过有效的遗忘机制，FOM-UL能够帮助企业和组织在遵循隐私法规的同时，保持模型的高效性和实用性，未来可能对数据隐私保护产生深远影响。
📄 摘要（原文）
Large Language Models (LLMs) can memorize and reproduce sensitive, copyrighted, or otherwise undesirable training content, creating privacy, safety, and regulatory concerns. Machine unlearning offers a practical alternative to full retraining, but many existing methods apply broad or fixed parameter updates that can degrade utility and remain brittle under deployment changes such as post-training quantization, where forgotten knowledge may partially re-emerge. We propose Forgetting Only What Matters via Unlearning Layers (FOM-UL), a layer-level unlearning framework that selects transformer layers using a forget-to-retain significance score. This score identifies layers with high influence on the forget set and low sensitivity to the retain set, allowing FOM-UL to concentrate updates where they are most effective while leaving most of the model unchanged. This targeted update strategy improves the forgetting-utility trade-off and provides an empirical path toward quantization-resilient unlearning by reducing the chance that small, diffuse updates are erased by low-bit rounding. Across TOFU, KnowUnDo, and MUSE-style evaluations, FOM-UL reduces residual memorization compared with strong GA, NPO, KLD, SURE, ReLearn, and LUNAR-based baselines while preserving retain-set utility close to the vanilla model. Under 8-bit and 4-bit post-training quantization, FOM-UL maintains stronger memorization suppression and utility preservation than competing methods, and adversarial prompt evaluations show lower recovery of forgotten content. Overall, FOM-UL provides an efficient unlearning strategy that improves targeted forgetting, utility preservation, and deployment robustness without claiming formal guarantees of erasure.