Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms

📄 arXiv: 2604.21882v1 📥 PDF

作者: Yuto Nishida, Naoki Shikoda, Yosuke Kishinami, Ryo Fujii, Makoto Morishita, Hidetaka Kamigaito, Taro Watanabe

分类: cs.CL

发布日期: 2026-04-23

备注: Accepted to ACL 2026 Main

💡 一句话要点

提出RedirectQA数据集，研究LLM中实体表面形式对非字面记忆的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 非字面记忆 实体表面形式 问答数据集 知识表示

📋 核心要点

  1. 现有基于实体的问答评估方法，使用单一规范表面形式，难以区分事实记忆与特定名称访问。
  2. 提出RedirectQA数据集，利用维基百科重定向信息，关联事实三元组与多种实体表面形式。
  3. 实验表明，LLM对不同表面形式的鲁棒性不同，且实体和表面频率均影响记忆准确性。

📝 摘要（中文）

理解大型语言模型（LLM）记忆了哪些类型的事实知识，对于评估其可靠性和局限性至关重要。基于实体的问答是分析非字面记忆的常用框架，但典型的评估使用单一规范的表面形式查询每个实体，难以区分事实记忆与通过特定名称的访问。我们引入了RedirectQA，这是一个基于实体的问答数据集，它使用维基百科重定向信息将维基数据事实三元组与每个实体的分类表面形式相关联，包括替代名称、缩写、拼写变体和常见的错误形式。通过对13个LLM的实验，我们研究了表面形式条件下的事实记忆，发现仅当实体表面形式发生变化时，预测结果通常会发生变化。这种不一致性取决于类别：模型对较小的拼写变体比对较大的词汇变体（如别名和缩写）更鲁棒。频率分析进一步表明，实体和表面级别的频率都与准确性相关，并且实体频率通常比表面频率贡献更大。总而言之，事实记忆既不是纯粹的表面特定，也不是完全表面不变的，这突出了表面形式多样性在评估非字面记忆中的重要性。

🔬 方法详解

问题定义：现有的大型语言模型评估方法，在考察其非字面记忆能力时，通常使用单一的、规范的实体表面形式进行查询。这种做法的局限性在于，无法区分模型是真正记住了事实，还是仅仅记住了某个特定名称与事实的关联。因此，如何更全面、更细致地评估LLM的事实记忆能力，特别是考虑到实体存在多种不同的表面形式，是一个亟待解决的问题。

核心思路：本文的核心思路是，通过引入一个包含多种实体表面形式的问答数据集，来考察LLM在不同表面形式下的事实记忆表现。具体来说，利用维基百科的重定向信息，将每个实体与多个表面形式（包括别名、缩写、拼写变体等）关联起来，从而可以针对同一个事实，使用不同的表面形式进行提问，进而评估模型对不同表面形式的鲁棒性。

技术框架：本文构建了一个名为RedirectQA的数据集，其构建流程如下：1) 从Wikidata中提取事实三元组；2) 利用维基百科的重定向信息，为每个实体关联多个表面形式；3) 将这些表面形式进行分类，例如别名、缩写、拼写变体等；4) 基于这些事实三元组和表面形式，构建问答对。然后，使用RedirectQA数据集对13个LLM进行评估，考察它们在不同表面形式下的表现。

关键创新：本文的关键创新在于：1) 提出了RedirectQA数据集，该数据集包含了丰富的实体表面形式，可以更全面地评估LLM的事实记忆能力；2) 通过实验发现，LLM对不同类型的表面形式的鲁棒性存在差异，例如对拼写变体的鲁棒性高于对别名和缩写的鲁棒性；3) 揭示了实体频率和表面形式频率对记忆准确性的影响，表明事实记忆既不是完全表面特定的，也不是完全表面不变的。

关键设计：RedirectQA数据集的关键设计在于其表面形式的多样性和分类。通过利用维基百科的重定向信息，确保了数据集包含各种类型的表面形式，从而可以更全面地评估LLM的记忆能力。此外，对表面形式进行分类，可以更细致地分析LLM对不同类型表面形式的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM对不同表面形式的鲁棒性存在显著差异，模型对拼写变体的容错率高于对别名和缩写的容错率。频率分析显示，实体和表面形式的频率都与准确率相关，且实体频率的影响通常大于表面形式频率。例如，模型在处理常见实体的别名时表现更好。

🎯 应用场景

该研究成果可应用于提升LLM的事实可靠性和知识检索能力。通过评估和改进模型对不同实体表面形式的理解，可以减少因表面形式变化导致的错误回答，提高LLM在知识密集型任务中的表现，例如问答系统、信息检索和知识图谱构建。

📄 摘要（原文）

Understanding what kinds of factual knowledge large language models (LLMs) memorize is essential for evaluating their reliability and limitations. Entity-based QA is a common framework for analyzing non-verbatim memorization, but typical evaluations query each entity using a single canonical surface form, making it difficult to disentangle fact memorization from access through a particular name. We introduce RedirectQA, an entity-based QA dataset that uses Wikipedia redirect information to associate Wikidata factual triples with categorized surface forms for each entity, including alternative names, abbreviations, spelling variants, and common erroneous forms. Across 13 LLMs, we examine surface-conditioned factual memorization and find that prediction outcomes often change when only the entity surface form changes. This inconsistency is category-dependent: models are more robust to minor orthographic variations than to larger lexical variations such as aliases and abbreviations. Frequency analyses further suggest that both entity- and surface-level frequencies are associated with accuracy, and that entity frequency often contributes beyond surface frequency. Overall, factual memorization appears neither purely surface-specific nor fully surface-invariant, highlighting the importance of surface-form diversity in evaluating non-verbatim memorization.