STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models

📄 arXiv: 2510.10398v1 📥 PDF

作者: Geunyeong Jeong, Juoh Sun, Seonghee Lee, Harksoo Kim

分类: cs.CL, cs.AI

发布日期: 2025-10-12

备注: Accepted to EMNLP 2025 (Findings)

🔗 代码/项目: GITHUB

💡 一句话要点

提出STEAM框架，通过语义对齐提升大语言模型知识编辑的连贯性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识编辑 语义对齐 知识表示 持续学习

📋 核心要点

  1. 现有知识编辑方法侧重于token级优化，忽略了编辑后知识与模型原有知识体系的语义一致性。
  2. STEAM框架通过识别语义锚点，并利用对齐损失引导编辑后的知识融入模型的知识结构，实现语义层面的知识编辑。
  3. 实验表明，STEAM框架提升了模型基于编辑后知识的推理能力，并增强了语义连贯性。

📝 摘要（中文）

大型语言模型在预训练过程中存储了大量的 factual knowledge。然而，这些知识本质上是静态的，仅反映训练时世界的状态。知识编辑作为一种有前景的解决方案，无需完全重新训练即可更新过时或不正确的知识。然而，大多数现有的 locate-and-edit 方法主要关注 token-level 的似然优化，而没有解决语义连贯性问题。我们的分析表明，这种编辑后的知识通常被编码为模型潜在空间中孤立的残差流，与预先存在的知识不同，并绕过了自然的推理过程。为了解决这个问题，我们提出了 STEAM，一个语义级别的知识编辑框架，它增强了更新知识与模型知识结构的集成。STEAM 首先将目标表示识别为更新的 factual association 的语义锚点，然后在优化过程中通过对齐损失引导编辑事实的内部表示朝向这些锚点。实验结果表明，STEAM 提高了模型使用编辑后的知识进行推理的能力，并增强了语义连贯性，突出了潜在空间对齐对于可靠和连贯的知识编辑的重要性。

🔬 方法详解

问题定义：现有的大语言模型知识编辑方法，如locate-and-edit，主要关注token级别的似然优化，缺乏对语义连贯性的考虑。编辑后的知识容易与模型原有的知识体系脱节，导致模型无法有效地利用这些知识进行推理。现有方法的痛点在于无法保证编辑后的知识能够自然地融入模型的推理过程。

核心思路：STEAM的核心思路是将编辑后的知识与模型中已有的相关知识进行语义对齐。通过识别模型中与编辑事实相关的语义锚点，并引导编辑后的知识表示向这些锚点靠拢，从而实现知识的平滑整合。这种方法旨在确保编辑后的知识能够被模型自然地理解和利用，避免产生孤立的知识片段。

技术框架：STEAM框架主要包含以下几个阶段：1) 语义锚点识别：识别模型中与待编辑事实相关的语义表示，作为编辑的目标。2) 知识编辑：使用现有的知识编辑方法（如locate-and-edit）对模型进行初步的知识更新。3) 表示对齐：通过引入对齐损失，引导编辑后的知识表示向语义锚点靠拢，实现语义层面的整合。整体流程是先进行token级别的编辑，再进行语义级别的对齐。

关键创新：STEAM最重要的技术创新点在于引入了语义对齐的概念，将知识编辑从token级别的优化提升到语义层面的整合。与现有方法相比，STEAM不再仅仅关注编辑后的知识是否能够被模型记住，而是更加关注编辑后的知识是否能够被模型理解和利用。这种语义对齐的思想是STEAM的核心竞争力。

关键设计：STEAM的关键设计包括：1) 语义锚点的选择：如何选择合适的语义锚点是影响对齐效果的关键。论文可能采用了某种策略来选择与编辑事实最相关的模型内部表示。2) 对齐损失函数：对齐损失函数的设计至关重要，它决定了如何引导编辑后的知识表示向语义锚点靠拢。论文可能使用了某种距离度量或相似度函数来定义对齐损失。3) 优化策略：如何平衡token级别的编辑和语义级别的对齐也是一个需要考虑的问题。论文可能采用了某种加权策略或多阶段优化方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STEAM框架在知识编辑任务上取得了显著的性能提升。与现有的token-level编辑方法相比，STEAM能够更好地保留编辑后的知识，并提高模型基于编辑后知识进行推理的能力。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

STEAM框架可应用于各种需要持续更新知识的大语言模型应用场景，例如：问答系统、对话机器人、知识图谱推理等。通过STEAM，可以更有效地修正模型中的错误知识，并使其能够适应不断变化的世界，从而提升模型的可靠性和实用性。该研究对于构建更加智能和可信赖的AI系统具有重要意义。

📄 摘要（原文）

Large Language Models store extensive factual knowledge acquired during large-scale pre-training. However, this knowledge is inherently static, reflecting only the state of the world at the time of training. Knowledge editing has emerged as a promising solution for updating outdated or incorrect facts without full retraining. However, most existing locate-and-edit methods primarily focus on token-level likelihood optimization without addressing semantic coherence. Our analysis reveals that such edited knowledge is often encoded as isolated residual streams in the model's latent space, distinct from pre-existing knowledge and bypassing natural reasoning process. To address this, we propose \textsc{Steam}, a semantic-level knowledge editing framework that enhances integration of updated knowledge into the model's knowledge structure. \textsc{Steam} first identifies target representations as semantic anchors for the updated factual association, then guides the internal representation of the edited fact towards these anchors through an alignment loss during optimization. Experimental results demonstrate that \textsc{Steam} improves model's ability to reason with edited knowledge and enhances semantic coherence, underscoring the importance of latent-space alignment for reliable and coherent knowledge editing. The code is available at https://github.com/GY-Jeong/STEAM.