Unlearning of Knowledge Graph Embedding via Preference Optimization
作者: Jiajun Liu, Wenjun Ke, Peng Wang, Yao He, Ziyu Shang, Guozheng Li, Zijie Xu, Ke Ji
分类: cs.AI
发布日期: 2025-07-28
💡 一句话要点
提出GraphDPO，通过偏好优化实现知识图谱嵌入的有效不可学习，提升知识完整性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识图谱嵌入 知识不可学习 偏好优化 直接偏好优化 边界知识保留
📋 核心要点
- 现有知识图谱嵌入不可学习方法难以彻底移除知识，且易削弱边界知识。
- GraphDPO将不可学习问题转化为偏好优化，并引入边界外采样策略。
- 实验表明，GraphDPO在多个知识图谱数据集上显著优于现有方法。
📝 摘要（中文）
现有的知识图谱（KG）不可避免地包含过时或错误的知识，需要从知识图谱嵌入（KGE）模型中移除。为了解决这个问题，知识不可学习可以被应用来消除特定信息，同时保持KG中剩余知识的完整性。现有的不可学习方法通常可以分为精确不可学习和近似不可学习。然而，精确不可学习需要高昂的训练成本，而近似不可学习在应用于KG时面临两个问题，由于三元组的固有连接性：（1）它无法完全移除目标信息，因为忘记的三元组仍然可以从剩余的三元组中推断出来。（2）它侧重于局部数据进行特定移除，这削弱了遗忘边界中剩余的知识。为了解决这些问题，我们提出GraphDPO，一种基于直接偏好优化（DPO）的新型近似不可学习框架。首先，为了有效地移除遗忘三元组，我们将不可学习重新定义为一个偏好优化问题，其中模型通过DPO进行训练，以偏好重构的替代方案而不是原始的遗忘三元组。这种公式惩罚了对可遗忘知识的依赖，减轻了由KG连接性引起的不完全遗忘。此外，我们引入了一种边界外采样策略，以构建语义重叠最小的偏好对，从而削弱了遗忘知识和保留知识之间的联系。其次，为了保留边界知识，我们引入了一种边界召回机制，该机制可以重放和提炼时间步长内和跨时间步长的相关信息。我们构建了跨四个流行KG的八个具有不同不可学习率的不可学习数据集。实验表明，GraphDPO在MRR_Avg上比最先进的基线高出10.1%，在MRR_F1上高出14.0%。
🔬 方法详解
问题定义：知识图谱嵌入（KGE）模型中存在过时或错误的知识，需要将其移除，同时保持剩余知识的完整性。现有近似不可学习方法由于知识图谱的连接性，无法完全移除目标知识，并且容易削弱遗忘边界的知识。
核心思路：将知识不可学习问题重新定义为偏好优化问题，通过直接偏好优化（DPO）训练模型，使其偏好重构的替代三元组，而不是原始的需要遗忘的三元组。这种方法旨在减少模型对可遗忘知识的依赖，从而更有效地移除目标知识。
技术框架：GraphDPO框架主要包含两个关键模块：基于DPO的遗忘模块和边界知识保留模块。遗忘模块通过DPO优化模型参数，使其偏好重构的三元组。边界知识保留模块则通过边界召回机制，重放和提炼与遗忘边界相关的知识，以防止模型遗忘重要的关联信息。
关键创新：该论文的关键创新在于将知识图谱的不可学习问题转化为偏好优化问题，并提出了边界外采样策略和边界召回机制。边界外采样策略通过构建语义重叠最小的偏好对，进一步削弱了遗忘知识和保留知识之间的联系。边界召回机制则通过重放和提炼边界知识，有效缓解了模型在遗忘过程中对相关知识的过度遗忘。
关键设计：在DPO优化过程中，损失函数的设计至关重要，目标是使模型对重构的三元组的打分高于需要遗忘的三元组。边界召回机制通过周期性地重放和提炼边界知识，并使用知识蒸馏技术，将历史模型的知识迁移到当前模型，从而保持边界知识的完整性。此外，边界外采样策略的设计需要仔细考虑如何选择与遗忘三元组语义重叠最小的负样本。
🖼️ 关键图片
📊 实验亮点
GraphDPO在四个流行的知识图谱数据集上进行了广泛的实验，结果表明，GraphDPO在MRR_Avg指标上比最先进的基线方法提高了高达10.1%，在MRR_F1指标上提高了高达14.0%。这些结果表明，GraphDPO能够有效地移除知识图谱中的错误信息，同时保持剩余知识的完整性。
🎯 应用场景
该研究成果可应用于知识图谱的维护和更新，例如，可以用于移除知识图谱中的错误信息或过时信息，从而提高知识图谱的质量和可靠性。此外，该方法还可以应用于个性化推荐系统，根据用户的反馈动态调整知识图谱，从而提供更准确的推荐结果。未来，该技术有望在智能问答、信息检索等领域发挥重要作用。
📄 摘要（原文）
Existing knowledge graphs (KGs) inevitably contain outdated or erroneous knowledge that needs to be removed from knowledge graph embedding (KGE) models. To address this challenge, knowledge unlearning can be applied to eliminate specific information while preserving the integrity of the remaining knowledge in KGs. Existing unlearning methods can generally be categorized into exact unlearning and approximate unlearning. However, exact unlearning requires high training costs while approximate unlearning faces two issues when applied to KGs due to the inherent connectivity of triples: (1) It fails to fully remove targeted information, as forgetting triples can still be inferred from remaining ones. (2) It focuses on local data for specific removal, which weakens the remaining knowledge in the forgetting boundary. To address these issues, we propose GraphDPO, a novel approximate unlearning framework based on direct preference optimization (DPO). Firstly, to effectively remove forgetting triples, we reframe unlearning as a preference optimization problem, where the model is trained by DPO to prefer reconstructed alternatives over the original forgetting triples. This formulation penalizes reliance on forgettable knowledge, mitigating incomplete forgetting caused by KG connectivity. Moreover, we introduce an out-boundary sampling strategy to construct preference pairs with minimal semantic overlap, weakening the connection between forgetting and retained knowledge. Secondly, to preserve boundary knowledge, we introduce a boundary recall mechanism that replays and distills relevant information both within and across time steps. We construct eight unlearning datasets across four popular KGs with varying unlearning rates. Experiments show that GraphDPO outperforms state-of-the-art baselines by up to 10.1% in MRR_Avg and 14.0% in MRR_F1.