CoLU: Confidence-Weighted Layerwise Unlearning for Large Language Models

📄 arXiv: 2610.22721v1 📥 PDF

作者: Jingkai Guo, Ziyi Zhao, Chaitali Chakrabarti, Deliang Fan

分类: cs.CL, cs.LG

发布日期: 2026-10-15

💡 一句话要点

提出CoLU以解决大语言模型的选择性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 选择性遗忘 置信加权 层筛选 模型更新 隐私保护 知识保留

📋 核心要点

  1. 现有的LLM遗忘方法在遗忘与保留之间存在权衡，可能导致保留知识的损失。
  2. CoLU通过置信加权的遗忘与保留正则化，仅更新选定的变换器层，从而提高遗忘效率。
  3. 在TOFU数据集上，CoLU在所有六个设置中均优于NPO、SatImp和GA基础的FOM-UL，并在MUSE Books和News数据集上表现最佳。

📝 摘要（中文）

大语言模型（LLM）的遗忘旨在忘记某些信息，同时保留其他信息，而无需从头开始重新训练。现有方法如NPO、SimNPO和SatImp通过全模型微调来平衡遗忘与保留，而FOM-UL则探索选择性层更新。以往研究表明，抑制目标信息可能会损害保留知识。本文提出了置信加权分层遗忘（CoLU），结合新颖的置信加权遗忘与保留正则化，仅更新单个选定的变换器层，而非整个模型。为降低计算成本，进一步提出了简要层筛选（BLS），通过新定义的标准化遗忘-保留（NFR）评分，首先对层进行排名。实验结果表明，CoLU在多个数据集上超越了现有方法，并显著降低了GPU内存使用。

🔬 方法详解

问题定义：本文解决的是大语言模型在选择性遗忘时的效率问题。现有方法如NPO和SimNPO在全模型微调时，可能导致保留知识的损失，且计算开销较大。

核心思路：CoLU的核心思路是通过置信加权的遗忘与保留正则化，仅对选定的变换器层进行更新，从而在遗忘特定信息的同时，尽量保留其他知识。

技术框架：CoLU的整体架构包括两个主要模块：置信加权遗忘与保留正则化模块，以及简要层筛选（BLS）模块。BLS通过对层进行初步筛选，减少后续的计算负担。

关键创新：CoLU的关键创新在于引入置信加权机制，使得遗忘与保留的平衡更加灵活，且通过BLS显著降低了计算成本。与现有方法相比，CoLU在层选择上更加高效。

关键设计：在设计上，CoLU使用了标准化遗忘-保留（NFR）评分来对层进行排名，并在更新过程中采用了特定的损失函数，以确保遗忘与保留的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，CoLU在TOFU数据集上在所有六个设置中均超越了NPO、SatImp和GA基础的FOM-UL，并在MUSE Books和News数据集上实现了最高的保留知识量和最低的隐私泄露风险。CoLU的GPU内存使用量比全模型遗忘低77.4%至79.5%。

🎯 应用场景

CoLU的研究成果在多个领域具有潜在应用价值，尤其是在需要快速更新和调整大语言模型的场景中，如个性化推荐、隐私保护和动态知识更新等。未来，CoLU可能推动更高效的模型训练与更新策略，提升大语言模型的实用性与灵活性。

📄 摘要（原文）

Large language model (LLM) unlearning aims to forget certain information while preserving others, without retraining from scratch. SoTA methods such as NPO, SimNPO, and SatImp balance forgetting and retain through whole model fine-tuning, while FOM-UL explores selective layer updates. Prior works show that suppressing target information can damage retained knowledge. This trade-off can vary across layers even under the same unlearning loss. In this work, we propose Confidence-Weighted Layerwise Unlearning (CoLU), which combines a novel confidence-weighted forgetting and retain regularization while updating a single selected transformer layer, rather than the whole model for unlearning. To reduce CoLU compute cost, we further propose Brief Layer Screening (BLS), which uses a newly defined normalized forgetting-retention (NFR) score to first rank layers through a brief unlearning trials using a subset of forgetting dataset and fewer epochs. BLS pre-selects top-k ranked layer candidates, which will then be fully profiled using full data analysis. BLS is proven to reduce the runtime of CoLU by 60.2-79.7% with almost the same performance. On TOFU dataset, CoLU improves both forgetting and retention over NPO, SatImp, and GA-based FOM-UL in all six TOFU settings, and over SimNPO in five of the six settings. On MUSE Books and News datasets, CoLU achieves the highest retained KnowMem and the PrivLeak closest to zero among the compared SOTA unlearning methods. CoLU presents a new record performance in both unlearning and retain in most settings up to date. Moreover, across the measured settings, average CoLU GPU memory usage is 77.4% to 79.5% lower than full-model unlearning.