What do Language Models Learn and When? The Implicit Curriculum Hypothesis
作者: Emmy Liu, Kaiser Sun, Millicent Li, Isabelle Lee, Lindia Tjuatja, Jen-tse Huang, Graham Neubig
分类: cs.CL
发布日期: 2026-04-09
💡 一句话要点
揭示LLM预训练的隐式课程：技能以可预测的组合方式涌现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 预训练 隐式课程 技能涌现 模型表示
📋 核心要点
- 现有方法难以理解LLM预训练过程中技能涌现的顺序和内在机制。
- 论文提出隐式课程假设，认为预训练遵循可预测的组合课程。
- 实验证明技能涌现顺序在不同模型中具有一致性，且可从模型表示中预测。
📝 摘要（中文）
大型语言模型（LLM）能够执行非常复杂的任务，但这些能力在预训练期间如何涌现的精细细节仍然知之甚少。验证损失的缩放定律告诉我们模型随着额外计算的增加而改进了多少，但没有告诉我们它以什么顺序获得了哪些技能。为了解决这个问题，我们提出了隐式课程假设：预训练遵循跨模型和数据混合的组合和可预测的课程。我们通过设计一套简单的、可组合的任务来测试这一点，这些任务涵盖检索、形态转换、共指、逻辑推理和数学。使用这些任务，我们跟踪了四个模型系列（参数规模从410M到13B）的涌现点。我们发现，模型达到固定精度阈值的涌现顺序惊人地一致（45个模型对之间的$ρ=0.81$），并且复合任务最常在其组成任务之后涌现。此外，我们发现这种结构编码在模型表示中：具有相似函数向量表示的任务也倾向于在训练中遵循相似的轨迹。通过使用从我们的任务集导出的表示空间，我们可以有效地预测简单保留的组合任务在整个预训练过程中的训练轨迹（跨模型的$R^2 = 0.68$-$0.84$），而无需事先评估它们。总之，这些结果表明，预训练比损失曲线所揭示的更有结构：技能以跨模型一致且可从其内部读取的组合顺序涌现。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在预训练过程中，各项能力（例如检索、推理、数学等）涌现的具体顺序和内在机制尚不明确的问题。现有方法主要依赖于验证损失的缩放定律来评估模型性能，但无法揭示模型学习技能的详细过程和顺序。因此，理解LLM如何以及何时学习不同的技能，对于改进预训练策略和提升模型性能至关重要。
核心思路：论文的核心思路是提出“隐式课程假设”，即LLM的预训练过程并非随机，而是遵循一个隐含的、可预测的课程。这个课程具有组合性，即复杂技能的掌握依赖于其组成部分的技能。通过分析模型在不同任务上的涌现点（达到特定性能阈值的时间点），可以揭示这个隐式课程的结构。此外，论文认为模型的内部表示编码了这种课程信息，可以通过分析表示空间来预测模型在其他任务上的学习轨迹。
技术框架：论文的技术框架主要包括以下几个部分：1) 设计一套简单的、可组合的任务集，涵盖检索、形态转换、共指、逻辑推理和数学等多个领域。2) 使用不同规模的LLM（410M-13B参数）在相同的数据集上进行预训练。3) 在预训练过程中，定期评估模型在任务集上的性能，记录每个任务的涌现点。4) 分析不同模型在任务涌现顺序上的一致性，以及复合任务与其组成任务之间的依赖关系。5) 使用模型表示空间来预测模型在未见过的组合任务上的学习轨迹。
关键创新：论文最重要的技术创新点在于提出了“隐式课程假设”，并验证了其在LLM预训练中的有效性。该假设为理解LLM的学习过程提供了一个新的视角，即LLM并非简单地通过大规模数据学习，而是遵循一个内在的、结构化的学习路径。此外，论文还创新性地利用模型表示空间来预测模型在其他任务上的学习轨迹，为模型的可解释性和控制性提供了新的思路。
关键设计：论文的关键设计包括：1) 精心设计的任务集，确保任务的简单性、可组合性和覆盖性。2) 使用不同规模的模型进行实验，以验证隐式课程假设的普适性。3) 使用Spearman等级相关系数（$ρ$）来衡量不同模型在任务涌现顺序上的一致性。4) 使用线性回归模型来预测模型在未见过的组合任务上的学习轨迹，并使用$R^2$来评估预测的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，不同规模的LLM在任务涌现顺序上具有高度一致性（$ρ=0.81$）。此外，通过模型表示空间，可以有效预测未见过的组合任务的训练轨迹（$R^2 = 0.68$-$0.84$）。这些结果有力地支持了隐式课程假设，并揭示了LLM预训练的结构化特性。
🎯 应用场景
该研究成果可应用于指导LLM的预训练过程，例如通过调整数据混合比例或设计更有效的训练目标，来加速特定技能的涌现。此外，通过分析模型表示空间，可以更好地理解模型的内部工作机制，并为模型的微调和迁移学习提供指导。该研究还有助于开发更可控、更可解释的LLM。
📄 摘要（原文）
Large language models (LLMs) can perform remarkably complex tasks, yet the fine-grained details of how these capabilities emerge during pretraining remain poorly understood. Scaling laws on validation loss tell us how much a model improves with additional compute, but not what skills it acquires in which order. To remedy this, we propose the Implicit Curriculum Hypothesis: pretraining follows a compositional and predictable curriculum across models and data mixtures. We test this by designing a suite of simple, composable tasks spanning retrieval, morphological transformations, coreference, logical reasoning, and mathematics. Using these tasks, we track emergence points across four model families spanning sizes from 410M-13B parameters. We find that emergence orderings of when models reach fixed accuracy thresholds are strikingly consistent ($ρ= .81$ across 45 model pairs), and that composite tasks most often emerge after their component tasks. Furthermore, we find that this structure is encoded in model representations: tasks with similar function vector representations also tend to follow similar trajectories in training. By using the space of representations derived from our task set, we can effectively predict the training trajectories of simple held-out compositional tasks throughout the course of pretraining ($R^2 = .68$-$.84$ across models) without previously evaluating them. Together, these results suggest that pretraining is more structured than loss curves reveal: skills emerge in a compositional order that is consistent across models and readable from their internals.