Neuron-Level Differentiation of Memorization and Generalization in Large Language Models
作者: Ko-Wei Huang, Yi-Fu Fu, Ching-Yu Tsai, Yu-Chieh Tu, Tzu-Ling Cheng, Cheng-Yu Lin, Yi-Ting Yang, Heng-Yi Liu, Keng-Te Liao, Da-Cheng Juan, Shou-De Lin
分类: cs.CL
发布日期: 2024-12-24 (更新: 2025-07-09)
💡 一句话要点
揭示大语言模型神经元层面的记忆与泛化差异，实现行为干预
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 神经元分析 记忆 泛化 可解释性 行为干预 模块化结构
📋 核心要点
- 现有大语言模型在记忆特定知识和泛化到新数据上的能力区分不明确，缺乏对神经元层面差异的理解。
- 该研究通过设计特定任务，识别出负责记忆和泛化的不同神经元子集，揭示了模型内部的模块化结构。
- 实验证明，在推理时干预这些特定神经元，可以有效控制模型的记忆或泛化行为，并具有良好的鲁棒性。
📝 摘要（中文）
本文研究了大语言模型（LLMs）如何在神经元层面区分记忆和泛化。通过精心设计的任务，我们识别出负责每种行为的不同神经元子集。在从头训练的GPT-2模型和使用LoRA微调的预训练LLaMA-3.2模型上的实验表明，存在一致的神经元层面的专业化分工。我们进一步证明，在推理时对这些神经元进行干预可以引导模型的行为倾向于记忆或泛化。为了评估鲁棒性，我们评估了任务内和任务间的神经元一致性，证实这些神经元-行为关联反映了可泛化的模式，而不是特定于数据集的人工产物。我们的发现揭示了LLM中的模块化结构，并能够在推理时控制记忆和泛化行为。
🔬 方法详解
问题定义：现有的大语言模型虽然表现出强大的记忆和泛化能力，但缺乏对这两种能力在神经元层面如何体现的深入理解。现有方法难以区分哪些神经元负责记忆特定知识，哪些神经元负责泛化到新的、未见过的数据。这限制了我们对模型内部工作机制的理解，也难以对模型的行为进行精确控制。
核心思路：该论文的核心思路是通过设计特定的任务，来区分模型中负责记忆和泛化的神经元。通过观察不同神经元在不同任务中的激活模式，识别出与记忆和泛化行为高度相关的神经元子集。然后，通过在推理时对这些神经元进行干预，验证这些神经元的功能，并实现对模型行为的控制。这种方法的核心在于假设记忆和泛化是由不同的神经元模块负责的，并且这些模块可以通过特定的任务进行识别。
技术框架：该研究的技术框架主要包含以下几个阶段：1) 任务设计：设计能够区分记忆和泛化的任务，例如需要模型回忆特定事实的任务和需要模型进行推理的任务。2) 神经元激活分析：在模型执行这些任务时，记录每个神经元的激活值。3) 神经元分类：基于神经元的激活模式，将神经元分为负责记忆的神经元和负责泛化的神经元。4) 推理时干预：在推理时，选择性地激活或抑制负责记忆或泛化的神经元，观察模型行为的变化。5) 鲁棒性评估：通过任务内和任务间的神经元一致性评估，验证神经元-行为关联的泛化能力。
关键创新：该研究最重要的技术创新点在于，它首次在神经元层面区分了大语言模型的记忆和泛化能力。通过精心设计的任务和神经元激活分析，识别出负责不同行为的神经元子集。此外，该研究还证明了可以通过在推理时干预这些神经元来控制模型的行为，这为理解和控制大语言模型提供了一种新的方法。
关键设计：关键设计包括：1) 任务设计：设计了需要模型回忆特定事实的任务（记忆任务）和需要模型进行推理的任务（泛化任务）。2) 神经元激活分析：使用了平均激活值作为神经元激活强度的指标。3) 神经元分类：使用了基于激活值的阈值方法来区分负责记忆和泛化的神经元。4) 推理时干预：通过将特定神经元的激活值设置为0或1来抑制或激活这些神经元。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过干预特定神经元，可以显著改变模型的行为。例如，激活负责记忆的神经元可以提高模型在记忆任务上的准确率，而激活负责泛化的神经元可以提高模型在泛化任务上的准确率。此外，研究还发现，这些神经元-行为关联具有良好的鲁棒性，在不同的任务和模型中都表现出一致性。
🎯 应用场景
该研究成果可应用于提升大语言模型的可控性和安全性。例如，可以抑制模型记忆不应公开的敏感信息，或增强模型在特定领域的泛化能力。此外，该研究也为理解大语言模型的内部工作机制提供了新的视角，有助于开发更高效、更可靠的AI系统。
📄 摘要（原文）
We investigate how Large Language Models (LLMs) distinguish between memorization and generalization at the neuron level. Through carefully designed tasks, we identify distinct neuron subsets responsible for each behavior. Experiments on both a GPT-2 model trained from scratch and a pretrained LLaMA-3.2 model fine-tuned with LoRA show consistent neuron-level specialization. We further demonstrate that inference-time interventions on these neurons can steer the model's behavior toward memorization or generalization. To assess robustness, we evaluate intra-task and inter-task consistency, confirming that these neuron-behavior associations reflect generalizable patterns rather than dataset-specific artifacts. Our findings reveal modular structure in LLMs and enable controlling memorization and generalization behaviors at inference time.