LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples

📄 arXiv: 2512.07375v1 📥 PDF

作者: Yezi Liu, Hanning Chen, Wenjun Huang, Yang Ni, Mohsen Imani

分类: cs.LG, cs.CL

发布日期: 2025-12-08

💡 一句话要点

LUNE：基于负例LoRA微调的高效LLM知识遗忘框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识遗忘 大型语言模型 LoRA微调 负例学习 高效计算

📋 核心要点

  1. 现有LLM知识遗忘方法计算成本高昂，难以在实际场景中部署，限制了其在隐私保护等领域的应用。
  2. LUNE框架通过LoRA微调，仅更新低秩适配器，冻结主干网络，从而实现高效的负例遗忘。
  3. 实验表明，LUNE在遗忘效果上可与全参数微调媲美，同时计算成本显著降低，提升幅度达一个数量级。

📝 摘要（中文）

大型语言模型（LLMs）通过大量的训练语料库获得了广泛的知识，但当需要时，它们通常无法删除特定的信息，这使得处理隐私、偏见缓解和知识纠正变得困难。传统的模型遗忘方法需要计算成本高昂的微调或直接的权重编辑，这使得它们在实际部署中不切实际。在这项工作中，我们介绍了一种基于负例的LoRA遗忘（LUNE）的轻量级框架，该框架通过仅更新低秩适配器同时冻结主干来执行仅负例遗忘，从而定位编辑并避免破坏性的全局更改。利用低秩适应（LoRA），LUNE针对中间表示来抑制（或替换）所请求的知识，其计算和内存成本比完全微调或直接权重编辑低一个数量级。在多个事实遗忘任务上的大量实验表明，LUNE：（I）实现了与完全微调和内存编辑方法相当的有效性，并且（II）将计算成本降低了大约一个数量级。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）难以有效且高效地遗忘特定知识的问题。现有方法，如全参数微调或直接权重编辑，计算成本过高，不适用于实际部署。这些方法要么需要重新训练整个模型，要么需要对模型的权重进行精细的修改，这在计算资源和时间上都是不可接受的。

核心思路：LUNE的核心思路是利用LoRA（Low-Rank Adaptation）技术，通过仅微调少量参数来实现知识遗忘。具体来说，LUNE通过引入负例，即希望模型忘记的信息，并使用LoRA对模型的中间表示进行调整，以抑制或替换这些信息。这种方法避免了对整个模型进行修改，从而大大降低了计算成本。

技术框架：LUNE框架主要包含以下几个步骤：1. 确定需要遗忘的知识；2. 构建包含负例的数据集，这些负例包含需要模型忘记的信息；3. 使用LoRA对预训练的LLM进行微调，只更新LoRA适配器的权重，同时冻结原始模型的权重；4. 评估遗忘效果，确保模型成功忘记了目标知识，同时保持了其他知识的完整性。

关键创新：LUNE的关键创新在于将LoRA技术应用于LLM的知识遗忘任务，并采用负例进行训练。与传统的全参数微调相比，LUNE只需要更新少量参数，从而显著降低了计算成本。此外，LUNE通过针对中间表示进行调整，可以更精确地控制模型的行为，避免了全局性的破坏。

关键设计：LUNE的关键设计包括：1. LoRA适配器的选择：选择合适的LoRA层和秩（rank）是至关重要的，这会影响遗忘效果和计算成本之间的平衡。2. 负例的构建：负例的质量直接影响遗忘效果，需要精心设计，以确保模型能够正确地忘记目标知识。3. 损失函数的设计：损失函数需要能够有效地引导LoRA适配器学习到抑制或替换目标知识的能力。论文中可能使用了交叉熵损失或其他适合知识遗忘任务的损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LUNE在多个事实遗忘任务上进行了广泛的实验，结果表明，LUNE在遗忘效果上可以与全参数微调和内存编辑方法相媲美，同时将计算成本降低了一个数量级。这意味着LUNE可以在保证遗忘效果的前提下，显著提高遗忘效率，使其更适用于实际应用。

🎯 应用场景

LUNE在多个领域具有广泛的应用前景，包括：隐私保护（删除个人敏感信息）、偏见缓解（消除模型中的偏见）、知识纠正（更新模型中的错误信息）等。该技术可以帮助企业和研究机构更安全、更可靠地使用大型语言模型，并促进人工智能技术的健康发展。未来，LUNE有望应用于各种需要动态更新知识的场景，例如智能客服、内容生成等。

📄 摘要（原文）

Large language models (LLMs) possess vast knowledge acquired from extensive training corpora, but they often cannot remove specific pieces of information when needed, which makes it hard to handle privacy, bias mitigation, and knowledge correction. Traditional model unlearning approaches require computationally expensive fine-tuning or direct weight editing, making them impractical for real-world deployment. In this work, we introduce LoRA-based Unlearning with Negative Examples (LUNE), a lightweight framework that performs negative-only unlearning by updating only low-rank adapters while freezing the backbone, thereby localizing edits and avoiding disruptive global changes. Leveraging Low-Rank Adaptation (LoRA), LUNE targets intermediate representations to suppress (or replace) requested knowledge with an order-of-magnitude lower compute and memory than full fine-tuning or direct weight editing. Extensive experiments on multiple factual unlearning tasks show that LUNE: (I) achieves effectiveness comparable to full fine-tuning and memory-editing methods, and (II) reduces computational cost by about an order of magnitude.