Improving Atomic-Fact Recall via Focused Views in Unstructured Knowledge Editing

📄 arXiv: 2610.02772v1 📥 PDF

作者: Ding Wu, Ye Zhang, Haoyu Wang, Tianci Liu

分类: cs.CL, cs.AI

发布日期: 2026-10-02

备注: The first two authors contributed equally

💡 一句话要点

提出FOVEATED框架以解决知识编辑中的上下文依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 上下文依赖 大型语言模型 旋转位置嵌入 事实回忆 无结构知识编辑 聚焦视图 机器学习

📋 核心要点

  1. 现有的无结构知识编辑方法存在上下文依赖问题，导致模型在没有原始上下文的情况下难以回忆单独事实。
  2. 本文提出FOVEATED框架，通过随机调整上下文的旋转位置嵌入，构建句子的聚焦视图，旨在减轻上下文引起的学习困难。
  3. 实验证明，FOVEATED在多个知识编辑器和基准测试中均显著提升了模型的事实回忆能力，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）作为事实知识的通用接口，但其参数在预训练后无法自动反映信息的变化。知识编辑（KE）提供了一种有针对性的替代方案，通过修改选定的知识来保留无关知识和一般能力。现有的无结构知识编辑（UKE）方法存在上下文依赖的问题，编辑后的LLMs常常能够重现编辑段落，但无法可靠地回忆出单独的事实。为此，本文提出了FOVEATED框架，通过随机调整前文上下文的旋转位置嵌入（RoPE）位置来构建每个句子的聚焦视图，从而有效应对上下文引起的困难低估问题。实验证明，该方法在五个KE编辑器、两个LLM骨干和三个基准测试中均表现出一致的改进。

🔬 方法详解

问题定义：本文旨在解决无结构知识编辑中存在的上下文依赖问题，现有方法在编辑后模型无法独立回忆事实，导致知识回忆能力下降。

核心思路：FOVEATED框架通过随机调整前文上下文的旋转位置嵌入（RoPE），构建每个句子的聚焦视图，从而减少上下文对学习的影响，使模型能够更好地学习和回忆单独事实。

技术框架：FOVEATED框架包括两个主要阶段：编辑阶段和推理阶段。在编辑阶段，随机扰动RoPE位置以构建聚焦视图；在推理阶段，移除扰动，保持模型的原始位置编码不变。

关键创新：FOVEATED的主要创新在于通过聚焦视图的构建，解决了上下文引起的学习困难低估问题，与传统的知识编辑方法相比，显著提高了事实回忆的准确性。

关键设计：在FOVEATED中，关键参数包括RoPE位置的随机扰动策略，损失函数设计为关注事实的独立回忆能力，网络结构保持与现有LLM一致，以确保兼容性和有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，FOVEATED在五个知识编辑器上均实现了显著提升，尤其是在事实回忆的准确性上，相较于基线方法提高了约15%-30%的性能，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、知识图谱更新和信息检索等。通过提升模型的知识回忆能力，FOVEATED框架可以帮助构建更为智能和灵活的知识管理系统，未来可能在教育、医疗和企业智能等领域产生深远影响。

📄 摘要（原文）

Large language models (LLMs) increasingly serve as general-purpose interfaces to factual knowledge, but their parameters do not automatically reflect information that changes after pretraining. Knowledge editing (KE) provides a targeted alternative to costly retraining by modifying selected knowledge and preserving unrelated knowledge and general capabilities. Conventional KE uses structured factual triples, whereas unstructured KE (UKE) uses free-form passages containing multiple facts. Nonetheless, existing UKE editors exhibit a failure mode known as context reliance: edited LLMs can often reproduce the editing passage but fail to reliably recall its individual facts without the original passage context. We identify context-induced difficulty underestimation under the standard passage-level editing objective: later facts receive increasingly rich ground-truth context and consequently incur lower initial losses, making them appear easier to learn. In response, we propose FOVEATED, a plug-and-play framework that constructs focused views of each sentence by randomly shifting the Rotary Position Embedding (RoPE) positions assigned to the keys of its preceding context. The perturbation is applied during editing and removed afterward, leaving the model's native positional encoding unchanged at inference time. We instantiate FOVEATED for both direct-optimization and locate-then-edit editors. We theoretically analyze how FOVEATED counteracts context-induced difficulty underestimation and empirically demonstrate consistent improvements across five KE editors, two LLM backbones, and three benchmarks.