NeuralDB: Scaling Knowledge Editing in LLMs to 100,000 Facts with Neural KV Database

📄 arXiv: 2507.18028v1 📥 PDF

作者: Weizhi Fei, Hao Shi, Jing Xu, Jingchen Peng, Jiazheng Li, Jingzhao Zhang, Bo Bai, Wei Han, Zhenyuan Chen, Xueyan Niu

分类: cs.CL, cs.AI

发布日期: 2025-07-24

💡 一句话要点

提出NeuralDB以高效编辑大规模知识库中的事实

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 神经网络 键值数据库 门控机制 文本生成 模型更新

📋 核心要点

  1. 现有的知识编辑方法在处理大规模事实时容易导致模型遗忘已编辑的信息，影响其通用能力。
  2. NeuralDB框架通过将编辑的事实视为神经KV数据库，并引入门控检索模块，有效解决了知识编辑的挑战。
  3. 实验结果显示，NeuralDB在编辑10,000个事实时，保持了模型在多个任务上的性能，并在扩展到100,000个事实时仍然有效。

📝 摘要（中文）

高效编辑存储在大型语言模型（LLMs）中的知识，使得模型更新无需大规模训练。现有的Locate-and-Edit（L&E）方法虽然支持同时修改大量事实，但在进行数千次编辑时可能会损害LLMs的通用能力，甚至导致已编辑事实的遗忘。本文将现有的线性L&E方法建模为查询键值（KV）数据库，提出了NeuralDB框架，该框架将编辑的事实显式表示为一个神经KV数据库，并配备非线性门控检索模块。综合实验表明，NeuralDB在编辑效率、泛化能力、特异性、流畅性和一致性方面表现优异，并在六个文本理解和生成任务中保持整体性能。进一步实验表明，NeuralDB在扩展到100,000个事实时仍然有效，提升幅度达到50倍。

🔬 方法详解

问题定义：本文旨在解决在大型语言模型中高效编辑知识的问题。现有的Locate-and-Edit方法在进行大规模编辑时，可能导致模型遗忘已编辑的事实，影响其通用能力。

核心思路：NeuralDB框架通过将编辑的事实建模为神经KV数据库，并引入非线性门控检索模块，确保在推理时仅在涉及编辑事实时激活该模块，从而保护模型的整体能力。

技术框架：NeuralDB的整体架构包括三个主要模块：事实存储模块（用于存储和管理编辑的知识）、门控检索模块（用于在推理时选择性激活）以及编辑接口（用于执行知识的增删改查操作）。

关键创新：NeuralDB的核心创新在于将知识编辑视为KV数据库查询，并通过门控机制有效防止了模型遗忘已编辑事实的现象，这与传统的线性编辑方法有本质区别。

关键设计：在设计中，门控模块的激活条件是基于推理任务是否涉及编辑的事实，确保了模型在处理未编辑事实时的性能不受影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NeuralDB在编辑10,000个事实时，表现出色，保持了在六个文本理解和生成任务上的整体性能。更重要的是，NeuralDB在扩展到100,000个事实时，仍然有效，提升幅度达到50倍，显示出其在大规模知识编辑中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、知识图谱更新、个性化推荐等。通过高效的知识编辑，NeuralDB能够帮助企业和研究机构快速适应新的信息，提升模型的实用性和灵活性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Efficiently editing knowledge stored in large language models (LLMs) enables model updates without large-scale training. One possible solution is Locate-and-Edit (L\&E), allowing simultaneous modifications of a massive number of facts. However, such editing may compromise the general abilities of LLMs and even result in forgetting edited facts when scaling up to thousands of edits. In this paper, we model existing linear L\&E methods as querying a Key-Value (KV) database. From this perspective, we then propose NeuralDB, an editing framework that explicitly represents the edited facts as a neural KV database equipped with a non-linear gated retrieval module, % In particular, our gated module only operates when inference involves the edited facts, effectively preserving the general abilities of LLMs. Comprehensive experiments involving the editing of 10,000 facts were conducted on the ZsRE and CounterFacts datasets, using GPT2-XL, GPT-J (6B) and Llama-3 (8B). The results demonstrate that NeuralDB not only excels in editing efficacy, generalization, specificity, fluency, and consistency, but also preserves overall performance across six representative text understanding and generation tasks. Further experiments indicate that NeuralDB maintains its effectiveness even when scaled to 100,000 facts (\textbf{50x} more than in prior work).