The Mosaic Memory of Large Language Models

📄 arXiv: 2405.15523v2 📥 PDF

作者: Igor Shilov, Matthieu Meeus, Yves-Alexandre de Montjoye

分类: cs.CL, cs.LG

发布日期: 2024-05-24 (更新: 2025-05-15)

💡 一句话要点

揭示大语言模型的Mosaic Memory现象，挑战传统记忆假设

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 记忆机制 Mosaic Memory 模糊重复 隐私保护

📋 核心要点

  1. 现有观点认为LLM的记忆仅源于训练数据中的重复序列，忽略了更复杂的记忆模式。
  2. 论文提出“Mosaic Memory”概念，即LLM通过组合相似序列的信息进行记忆，而非简单重复。
  3. 实验表明，模糊重复序列对LLM记忆的影响显著，且记忆过程偏向句法而非语义层面。

📝 摘要（中文）

随着大型语言模型（LLMs）的广泛应用，理解它们如何从训练数据中学习和记忆变得至关重要。人们普遍认为LLMs的记忆仅仅是由于训练数据中序列的重复出现。然而，本文表明，LLMs通过组装来自相似序列的信息进行记忆，这种现象我们称之为Mosaic Memory。我们发现主流LLMs表现出Mosaic Memory，模糊重复对记忆的贡献高达精确重复的0.8倍，甚至经过大量修改的序列也对记忆有显著贡献。尽管模型显示出推理能力，但令人惊讶的是，记忆主要是句法性的而非语义性的。最后，我们表明模糊重复在真实世界的数据中普遍存在，且未被去重技术触及。总而言之，我们的结果挑战了广泛持有的信念，并表明记忆是一个更复杂的Mosaic过程，对隐私、保密性、模型效用和评估具有实际意义。

🔬 方法详解

问题定义：现有研究主要关注LLM对训练数据中完全重复序列的记忆，忽略了模型如何利用相似但不完全相同的序列进行学习和记忆。这种片面的理解可能导致对LLM记忆能力的低估，以及对隐私风险的不充分评估。现有去重技术也难以有效处理真实世界数据中普遍存在的模糊重复序列。

核心思路：论文的核心在于揭示LLM的“Mosaic Memory”现象，即模型通过组装来自多个相似序列的信息来形成记忆。这种记忆方式类似于马赛克拼图，模型将不同的片段组合成完整的记忆。论文认为，即使序列经过修改或模糊处理，仍然可以对LLM的记忆产生显著影响。

技术框架：论文通过一系列实验来验证Mosaic Memory的存在。首先，论文定义了不同类型的重复序列，包括精确重复、模糊重复和经过修改的序列。然后，论文使用不同的LLM（具体模型未知）进行实验，评估这些不同类型的重复序列对模型记忆的影响。论文通过分析模型在生成文本时的行为，来判断模型是否记住了特定的信息。此外，论文还分析了模型记忆的句法和语义特性。

关键创新：论文最重要的创新在于提出了“Mosaic Memory”的概念，并证明了LLM可以通过组装来自相似序列的信息进行记忆。这挑战了传统的记忆假设，并为理解LLM的记忆机制提供了新的视角。此外，论文还发现模糊重复序列对LLM记忆的影响显著，且记忆过程偏向句法而非语义层面，这些发现都具有重要的理论和实践意义。

关键设计：论文的具体实验设计细节未知，包括如何量化不同类型重复序列的影响，以及如何区分句法和语义记忆。推测可能使用了信息论相关的指标来衡量记忆程度，并设计了特定的prompt来诱导模型生成包含目标信息的文本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究表明，模糊重复序列对LLM记忆的贡献高达精确重复序列的0.8倍，这表明模糊重复在LLM的记忆过程中扮演着重要角色。此外，研究还发现，LLM的记忆过程主要依赖于句法信息，而非语义信息，这挑战了人们对LLM推理能力的传统认知。

🎯 应用场景

该研究成果对LLM的隐私保护、版权保护和模型评估具有重要意义。理解Mosaic Memory有助于开发更有效的去重技术，降低LLM泄露敏感信息的风险。此外，该研究还可以用于评估LLM的泛化能力和鲁棒性，并指导模型训练数据的选择和处理。

📄 摘要（原文）

As Large Language Models (LLMs) become widely adopted, understanding how they learn from, and memorize, training data becomes crucial. Memorization in LLMs is widely assumed to only occur as a result of sequences being repeated in the training data. Instead, we show that LLMs memorize by assembling information from similar sequences, a phenomena we call mosaic memory. We show major LLMs to exhibit mosaic memory, with fuzzy duplicates contributing to memorization as much as 0.8 of an exact duplicate and even heavily modified sequences contributing substantially to memorization. Despite models display reasoning capabilities, we somewhat surprisingly show memorization to be predominantly syntactic rather than semantic. We finally show fuzzy duplicates to be ubiquitous in real-world data, untouched by deduplication techniques. Taken together, our results challenge widely held beliefs and show memorization to be a more complex, mosaic process, with real-world implications for privacy, confidentiality, model utility and evaluation.