How do language models learn facts? Dynamics, curricula and hallucinations
作者: Nicolas Zucchet, Jörg Bornschein, Stephanie Chan, Andrew Lampinen, Razvan Pascanu, Soham De
分类: cs.CL, cs.LG
发布日期: 2025-03-27 (更新: 2025-07-24)
备注: Accepted at the 2nd Conference on Language Modeling (2025)
期刊: Conference on Language Modeling (2025)
💡 一句话要点
研究语言模型学习事实的动态过程，揭示知识获取的阶段性、数据分布影响及幻觉现象。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 知识获取 学习动态 数据分布 幻觉 注意力机制 合成数据集
📋 核心要点
- 现有语言模型知识获取过程缺乏深入理解，尤其是在学习动态和数据分布影响方面。
- 本文通过合成事实回忆任务，研究语言模型学习过程，揭示学习阶段、注意机制和数据分布的关键作用。
- 实验表明，语言模型学习存在平台期，数据分布影响学习速度，且幻觉现象与知识获取同时发生。
📝 摘要（中文）
大型语言模型在预训练期间积累了大量知识，但对其获取知识的动态过程仍然知之甚少。本文研究了语言模型在合成事实回忆任务中的学习动态，揭示了三个关键发现：首先，语言模型学习分为三个阶段，在获得精确的事实知识之前表现出一个性能平台期。从机制上讲，这个平台期与支持回忆的基于注意力的回路的形成相吻合。其次，训练数据分布显著影响学习动态，不平衡的分布会导致更短的平台期。最后，幻觉与知识同时出现，通过微调将新知识整合到模型中具有挑战性，因为它会迅速破坏其现有的参数记忆。我们的结果强调了数据分布在知识获取中的重要性，并提出了新的数据调度策略来加速神经网络训练。
🔬 方法详解
问题定义：论文旨在理解大型语言模型如何学习和存储事实性知识，以及影响这一过程的关键因素。现有方法缺乏对知识获取动态过程的深入理解，特别是数据分布、学习阶段和幻觉现象之间的关系。现有研究难以解释语言模型在学习新知识时出现的性能波动和知识遗忘问题。
核心思路：论文的核心思路是通过构建一个可控的合成事实回忆任务，来研究语言模型在学习过程中的动态行为。通过控制训练数据的分布和内容，可以更清晰地观察模型学习不同类型事实的速度和方式，并分析注意机制在知识存储和检索中的作用。这种方法允许研究者分离和量化不同因素对知识获取的影响。
技术框架：整体框架包括以下几个主要步骤：1) 构建合成数据集，包含一系列事实陈述；2) 使用这些数据预训练或微调语言模型；3) 在保留数据集上评估模型的知识回忆能力；4) 分析模型在不同训练阶段的性能变化，以及注意机制的激活模式；5) 通过改变训练数据分布，观察其对学习动态的影响。
关键创新：最重要的技术创新点在于使用合成数据集来研究知识获取的动态过程。与使用真实世界数据集相比，合成数据集允许研究者精确控制数据的分布和内容，从而更好地分离和量化不同因素对学习的影响。此外，论文还深入分析了注意机制在知识存储和检索中的作用，揭示了其与学习阶段之间的关系。
关键设计：论文的关键设计包括：1) 精心设计的合成数据集，包含不同类型的事实陈述，并控制其在训练数据中的分布；2) 使用标准的Transformer架构作为语言模型；3) 使用交叉熵损失函数进行训练；4) 通过分析注意权重来研究注意机制的激活模式；5) 使用不同的数据调度策略来加速训练过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，语言模型学习事实知识分为三个阶段，存在性能平台期。不平衡的数据分布会导致更短的平台期，加速学习。幻觉现象与知识获取同时出现，微调新知识容易破坏现有知识。通过数据调度策略，可以有效加速神经网络训练。
🎯 应用场景
该研究成果可应用于提升语言模型的知识学习效率和可靠性，例如通过优化数据分布和训练策略，减少幻觉现象，提高模型在知识密集型任务中的表现。此外，该研究有助于理解人类认知中的知识获取机制，并为开发更智能的AI系统提供理论基础。
📄 摘要（原文）
Large language models accumulate vast knowledge during pre-training, yet the dynamics governing this acquisition remain poorly understood. This work investigates the learning dynamics of language models on a synthetic factual recall task, uncovering three key findings: First, language models learn in three phases, exhibiting a performance plateau before acquiring precise factual knowledge. Mechanistically, this plateau coincides with the formation of attention-based circuits that support recall. Second, the training data distribution significantly impacts learning dynamics, as imbalanced distributions lead to shorter plateaus. Finally, hallucinations emerge simultaneously with knowledge, and integrating new knowledge into the model through fine-tuning is challenging, as it quickly corrupts its existing parametric memories. Our results emphasize the importance of data distribution in knowledge acquisition and suggest novel data scheduling strategies to accelerate neural network training.