The Model Agreed, But Didn't Learn: Diagnosing Surface Compliance in Large Language Models

📄 arXiv: 2604.05995v1 📥 PDF

作者: Xiaojie Gu, Ziying Huang, Weicong Hong, Jian Xie, Renze Lou, Kai Zhang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-04-07

备注: ACL 2026 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

揭示大语言模型中的表面顺从现象，诊断知识编辑的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识编辑 表面顺从 上下文学习 自我评估 记忆修改 认知稳定性

📋 核心要点

  1. 现有知识编辑方法在特定prompt下评估输出，难以验证是否真正修改了LLM的内部知识。
  2. 论文提出一种诊断框架，通过上下文学习下的区分性自我评估，检测记忆修改后的细微行为变化。
  3. 实验揭示了“表面顺从”现象，即模型仅模仿目标输出，并未真正改变内部信念，且递归修改会降低记忆可逆性。

📝 摘要（中文）

大型语言模型（LLM）将大量的世界知识内化为参数记忆，但不可避免地继承了其来源语料库的过时信息和错误。因此，确保这些内部表示的可靠性和可塑性对于值得信赖的实际部署至关重要。知识编辑提供了一种无需重新训练即可外科手术式修改记忆的关键范例。然而，尽管最近的编辑器在标准基准测试中表现出很高的成功率，但目前依赖于评估特定提示条件下输出的评估框架，是否能够可靠地验证真正的记忆修改仍然值得怀疑。在这项工作中，我们引入了一个简单的诊断框架，该框架使模型在上下文学习（ICL）设置下进行区分性自我评估，从而更好地反映实际应用环境，专门用于审查由记忆修改引起的细微行为差异。这种探测揭示了一种普遍存在的表面顺从现象，即编辑器仅仅通过模仿目标输出来获得很高的基准分数，而没有在结构上覆盖内部信念。此外，我们发现递归修改会累积表征残余，从而引发认知不稳定并永久降低模型记忆状态的可逆性。这些见解强调了当前编辑范例的风险，并强调了稳健的记忆修改在构建值得信赖、长期可持续的LLM系统中的关键作用。

🔬 方法详解

问题定义：现有的大语言模型知识编辑方法，虽然在标准benchmark上取得了不错的成绩，但是评估方法依赖于特定prompt下的输出，无法判断模型是否真正修改了内部知识，还是仅仅学习了在特定prompt下的输出模式。这种“表面顺从”现象使得模型在其他场景下可能无法正确应用编辑后的知识。

核心思路：论文的核心思路是设计一种更严格的评估方法，通过上下文学习（In-Context Learning, ICL）让模型进行自我评估，从而检测模型在知识编辑后是否真正改变了其内部信念。这种自我评估能够更好地反映模型在实际应用环境中的表现，从而更准确地诊断知识编辑的有效性。

技术框架：论文提出的诊断框架主要包含以下几个步骤：1. 选择需要编辑的知识；2. 使用知识编辑方法对模型进行编辑；3. 构建包含多个选项的自我评估问题，这些问题旨在测试模型是否真正理解并内化了编辑后的知识；4. 使用上下文学习的方式，将问题和选项输入模型，让模型进行选择；5. 分析模型的选择结果，判断模型是否存在“表面顺从”现象。

关键创新：论文最重要的技术创新点在于提出了基于上下文学习的自我评估方法，这种方法能够更有效地检测模型在知识编辑后是否真正改变了其内部信念。与传统的评估方法相比，该方法更加严格，能够更好地反映模型在实际应用环境中的表现。此外，论文还发现了递归修改会累积表征残余，从而引发认知不稳定并降低记忆可逆性。

关键设计：论文的关键设计包括：1. 精心设计的自我评估问题，这些问题需要能够区分模型是否真正理解并内化了编辑后的知识；2. 使用上下文学习的方式，避免模型仅仅依赖于预训练的知识，而是需要根据上下文进行推理；3. 分析模型选择结果时，需要考虑多种因素，例如模型的置信度、选择的正确性等。

📊 实验亮点

实验结果表明，现有的知识编辑方法普遍存在“表面顺从”现象，即模型仅模仿目标输出，并未真正改变内部信念。此外，递归修改会累积表征残余，导致模型认知不稳定，并永久降低记忆的可逆性。这些发现揭示了当前知识编辑范式的局限性。

🎯 应用场景

该研究成果可应用于提升大型语言模型的可信度和可靠性，尤其是在需要频繁更新知识的场景下，例如问答系统、知识图谱等。通过诊断并避免“表面顺从”现象，可以构建更值得信赖、长期可持续的LLM系统，减少模型产生错误或过时信息的风险。

📄 摘要（原文）

Large Language Models (LLMs) internalize vast world knowledge as parametric memory, yet inevitably inherit the staleness and errors of their source corpora. Consequently, ensuring the reliability and malleability of these internal representations is imperative for trustworthy real-world deployment. Knowledge editing offers a pivotal paradigm for surgically modifying memory without retraining. However, while recent editors demonstrate high success rates on standard benchmarks, it remains questionable whether current evaluation frameworks that rely on assessing output under specific prompting conditions can reliably authenticate genuine memory modification. In this work, we introduce a simple diagnostic framework that subjects models to discriminative self-assessment under in-context learning (ICL) settings that better reflect real-world application environments, specifically designed to scrutinize the subtle behavioral nuances induced by memory modifications. This probing reveals a pervasive phenomenon of Surface Compliance, where editors achieve high benchmark scores by merely mimicking target outputs without structurally overwriting internal beliefs. Moreover, we find that recursive modifications accumulate representational residues, triggering cognitive instability and permanently diminishing the reversibility of the model's memory state. These insights underscore the risks of current editing paradigms and highlight the pivotal role of robust memory modification in building trustworthy, long-term sustainable LLM systems. Code is available at https://github.com/XiaojieGu/SA-MCQ.