MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models

📄 arXiv: 2404.04990v3 📥 PDF

作者: Zihao Wei, Jingcheng Deng, Liang Pang, Hanxing Ding, Huawei Shen, Xueqi Cheng

分类: cs.CL

发布日期: 2024-04-07 (更新: 2025-02-19)

备注: Accepted as a full paper at COLING 2025

💡 一句话要点

提出MLaKE以解决多语言知识编辑基准问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言知识编辑 大规模语言模型 知识编辑基准 多跳推理 跨语言评估

📋 核心要点

  1. 现有知识编辑方法主要集中在单语场景，缺乏对多语言和多跳推理的处理，导致其在多语言环境中的表现不佳。
  2. 本文提出MLaKE基准，包含多跳和单跳问题，旨在评估知识编辑方法在多语言环境中的适应性和泛化能力。
  3. 实验结果表明，现有知识编辑方法在英语样本中的成功率较高，但在其他语言中的泛化能力有限，尤其是不同语言家族之间的表现差异明显。

📝 摘要（中文）

大规模语言模型（LLMs）的广泛应用凸显了其内在参数中嵌入精确和最新知识的必要性。现有的知识编辑研究主要集中在单语场景，忽视了多语言环境和多跳推理带来的复杂性。为应对这些挑战，本文提出了MLaKE（多语言知识编辑基准），该基准包含4072个多跳和5360个单跳问题，旨在评估知识编辑方法在英语、中文、日语、法语和德语五种语言中的适应性。MLaKE汇聚了来自维基百科的跨语言事实链，并利用LLMs生成自由形式和多项选择的问题。我们评估了现有方法在MLaKE上的多语言知识编辑泛化能力，发现现有方法在英语样本中的成功率高于其他语言，但在多语言实验中的泛化能力有限。

🔬 方法详解

问题定义：本文旨在解决现有知识编辑方法在多语言环境中的适应性不足问题，尤其是在多跳推理场景下的挑战。现有方法在处理不同语言时表现不均，尤其是缺乏对多语言知识编辑的系统性评估。

核心思路：本文提出MLaKE基准，通过设计多跳和单跳问题，评估知识编辑方法在五种语言中的表现。通过聚合跨语言的事实链，利用LLMs生成问题，增强了评估的全面性和准确性。

技术框架：MLaKE的整体架构包括数据收集、问题生成和评估三个主要模块。首先，从维基百科中聚合事实链，然后利用LLMs生成多样化的问题，最后对现有知识编辑方法进行评估。

关键创新：MLaKE的主要创新在于其多语言和多跳问题的设计，填补了现有知识编辑研究在多语言环境中的空白。与传统单语基准相比，MLaKE提供了更具挑战性的评估标准。

关键设计：在参数设置上，MLaKE采用了多种问题类型（自由形式和多项选择），并通过多语言事实链的聚合来确保问题的多样性和代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有知识编辑方法在英语样本中的成功率高达70%，而在其他语言（如法语和德语）中成功率仅为40%左右，表明多语言知识编辑的泛化能力仍需提升。尤其是在不同语言家族之间，表现差异显著，提示未来研究的方向。

🎯 应用场景

该研究的潜在应用领域包括多语言信息检索、跨语言知识图谱构建以及多语言对话系统等。通过提供一个标准化的基准，MLaKE可以推动多语言知识编辑技术的发展，提升大规模语言模型在多语言环境中的应用效果。

📄 摘要（原文）

The extensive utilization of large language models (LLMs) underscores the crucial necessity for precise and contemporary knowledge embedded within their intrinsic parameters. Existing research on knowledge editing primarily concentrates on monolingual scenarios, neglecting the complexities presented by multilingual contexts and multi-hop reasoning. To address these challenges, our study introduces MLaKE (Multilingual Language Knowledge Editing), a novel benchmark comprising 4072 multi-hop and 5360 single-hop questions designed to evaluate the adaptability of knowledge editing methods across five languages: English, Chinese, Japanese, French, and German. MLaKE aggregates fact chains from Wikipedia across languages and utilizes LLMs to generate questions in both free-form and multiple-choice. We evaluate the multilingual knowledge editing generalization capabilities of existing methods on MLaKE. Existing knowledge editing methods demonstrate higher success rates in English samples compared to other languages. However, their generalization capabilities are limited in multi-language experiments. Notably, existing knowledge editing methods often show relatively high generalization for languages within the same language family compared to languages from different language families. These results underscore the imperative need for advancements in multilingual knowledge editing and we hope MLaKE can serve as a valuable resource for benchmarking and solution development.