Concept Unlearning in Large Language Models via Self-Constructed Knowledge Triplets

📄 arXiv: 2509.15621v1 📥 PDF

作者: Tomoya Yamashita, Yuuki Yamanaka, Masanori Yamada, Takayuki Miura, Toshiki Shibahara, Tomoharu Iwata

分类: cs.CL, cs.LG

发布日期: 2025-09-19

💡 一句话要点

提出基于自构建知识三元组的大语言模型概念遗忘方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 概念遗忘 大语言模型 知识图谱 机器遗忘 知识三元组

📋 核心要点

  1. 现有机器遗忘方法依赖于特定句子，无法有效移除LLM中更广泛的概念，如人物或事件。
  2. 论文提出一种新的概念遗忘方法，通过知识图谱表示LLM内部知识，并移除目标节点及其关联边。
  3. 实验结果表明，该方法在实现概念级别遗忘的同时，能够较好地保留LLM中不相关的知识。

📝 摘要（中文）

本文提出了一种针对大语言模型（LLM）的概念遗忘（CU）方法，旨在解决LLM中存在的隐私和版权问题。现有机器遗忘（MU）方法依赖于显式的目标句子，无法移除更广泛的概念，如人物或事件。本文将CU定义为移除知识图谱中代表LLM内部知识的遗忘目标节点及其相关边。该方法首先提示LLM生成关于遗忘目标的知识三元组和解释性句子，然后对这些表示进行遗忘处理。通过将遗忘过程与LLM的内部知识表示对齐，实现更精确和全面的概念移除，同时保留不相关的知识。在真实和合成数据集上的实验表明，该方法能够有效地实现概念级别的遗忘。

🔬 方法详解

问题定义：现有的大语言模型遗忘方法主要集中在删除特定的句子或文档，而忽略了更高级别的概念遗忘。例如，如果需要让模型忘记某个特定人物，现有的方法可能需要删除所有包含该人物名字的句子，这不仅效率低下，而且容易遗漏。此外，这些方法通常需要显式的目标句子，难以处理隐式知识的遗忘。因此，如何实现对LLM中概念级别的精确遗忘，同时避免对无关知识造成损害，是一个重要的挑战。

核心思路：本文的核心思路是将LLM的内部知识表示为知识图谱，其中节点代表概念，边代表概念之间的关系。概念遗忘的目标被定义为从该知识图谱中移除特定的目标节点及其相关的边。为了实现这一目标，论文首先利用LLM自身的能力来构建关于遗忘目标的知识三元组和解释性句子，然后对这些表示进行遗忘处理。

技术框架：该方法主要包含以下几个阶段：1) 知识三元组生成：利用提示工程（Prompt Engineering）技术，引导LLM生成关于遗忘目标的知识三元组（例如，(人物, 职业, 演员)）和解释性句子。2) 知识表示对齐：将生成的知识三元组和解释性句子与LLM的内部知识表示进行对齐，确保遗忘过程能够作用于LLM的内部知识。3) 遗忘过程：采用特定的遗忘算法（例如，基于梯度下降的方法）来更新LLM的参数，从而移除目标节点及其相关的边。4) 知识保留：在遗忘过程中，需要采取措施来保护LLM中不相关的知识，例如，通过正则化项来约束参数的更新。

关键创新：该方法最重要的创新点在于将概念遗忘问题转化为知识图谱上的节点和边移除问题，并利用LLM自身的能力来构建关于遗忘目标的知识表示。这种方法不仅能够实现对概念级别的精确遗忘，而且能够更好地保护LLM中不相关的知识。与现有方法相比，该方法不需要显式的目标句子，能够处理隐式知识的遗忘。

关键设计：在知识三元组生成阶段，论文采用了特定的提示模板来引导LLM生成高质量的知识三元组和解释性句子。在遗忘过程阶段，论文采用了基于梯度下降的方法来更新LLM的参数，并引入了正则化项来约束参数的更新，从而保护LLM中不相关的知识。具体的损失函数设计和参数设置在论文中有详细描述。

📊 实验亮点

实验结果表明，该方法能够有效地实现概念级别的遗忘，同时保留LLM中不相关的知识。在真实数据集和合成数据集上的实验结果都表明，该方法在遗忘目标概念的同时，能够保持LLM在其他任务上的性能。具体的性能数据和对比基线在论文中有详细描述。

🎯 应用场景

该研究成果可应用于保护LLM中的隐私数据、移除不准确或有害信息、以及应对版权问题。例如，可以用于移除LLM中关于特定人物的敏感信息，或者移除LLM中关于虚假事件的错误信息。此外，该方法还可以用于定制化LLM，使其只包含特定领域的知识，从而提高LLM的效率和准确性。

📄 摘要（原文）

Machine Unlearning (MU) has recently attracted considerable attention as a solution to privacy and copyright issues in large language models (LLMs). Existing MU methods aim to remove specific target sentences from an LLM while minimizing damage to unrelated knowledge. However, these approaches require explicit target sentences and do not support removing broader concepts, such as persons or events. To address this limitation, we introduce Concept Unlearning (CU) as a new requirement for LLM unlearning. We leverage knowledge graphs to represent the LLM's internal knowledge and define CU as removing the forgetting target nodes and associated edges. This graph-based formulation enables a more intuitive unlearning and facilitates the design of more effective methods. We propose a novel method that prompts the LLM to generate knowledge triplets and explanatory sentences about the forgetting target and applies the unlearning process to these representations. Our approach enables more precise and comprehensive concept removal by aligning the unlearning process with the LLM's internal knowledge representations. Experiments on real-world and synthetic datasets demonstrate that our method effectively achieves concept-level unlearning while preserving unrelated knowledge.