Beyond Random Sampling: Efficient Language Model Pretraining via Curriculum Learning

📄 arXiv: 2506.11300v1 📥 PDF

作者: Yang Zhang, Amr Mohamed, Hadi Abdine, Guokan Shang, Michalis Vazirgiannis

分类: cs.CL, cs.AI

发布日期: 2025-06-12

💡 一句话要点

通过课程学习提升语言模型预训练效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 课程学习 语言模型 预训练 训练效率 数据排序 难度指标 机器学习

📋 核心要点

  1. 现有的语言模型预训练方法在训练效率和泛化能力上存在不足，特别是在数据选择和排序方面。
  2. 本文提出通过课程学习策略来优化语言模型的预训练过程，探索不同的难度指标和采样方法。
  3. 实验结果显示，课程学习在训练早期和中期显著提高了模型的收敛速度，并在热身阶段带来了3.5%的性能提升。

📝 摘要（中文）

课程学习在提高训练效率和泛化能力方面展现出潜力，但在语言模型预训练中的应用仍未得到充分探索。本文首次系统性研究了这一领域，实验了多种设置，包括基础课程学习、基于节奏的采样和六种难度指标指导的交错课程。结果表明，课程学习在早期和中期训练阶段持续改善收敛性，并作为热身策略时可实现最高3.5%的性能提升。我们发现压缩比、词汇多样性和可读性是有效的难度信号，强调了数据排序在大规模预训练中的重要性，为可扩展、高效的数据驱动模型开发提供了可行的见解。

🔬 方法详解

问题定义：本文旨在解决语言模型预训练中数据选择和排序不当导致的训练效率低下和泛化能力不足的问题。现有方法往往忽视了数据的难度层次，导致训练效果不理想。

核心思路：通过引入课程学习的概念，论文提出在预训练过程中根据数据的难度进行有序采样，以提高模型的学习效率和最终性能。这样的设计旨在让模型逐步适应更复杂的任务。

技术框架：整体框架包括三个主要阶段：首先，定义数据的难度指标；其次，设计基于这些指标的课程学习策略；最后，评估模型在不同设置下的性能。主要模块包括数据预处理、课程学习策略实施和模型训练与评估。

关键创新：本研究的关键创新在于系统性地将课程学习应用于语言模型预训练，并通过六种不同的难度指标进行指导，显著提升了模型的收敛速度和最终性能。与传统随机采样方法相比，课程学习提供了更为有效的数据利用方式。

关键设计：在实验中，采用了压缩比、词汇多样性和可读性作为难度信号，设计了基于这些信号的采样策略。此外，模型训练过程中还引入了热身策略，以进一步提升训练效果。具体的损失函数和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果表明，课程学习在早期和中期训练阶段显著提高了模型的收敛性，作为热身策略时可实现最高3.5%的性能提升。通过对比基线，课程学习在多个基准测试中均表现出优越性，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过优化预训练过程，能够显著提高模型在实际应用中的表现，尤其是在资源有限的情况下。此外，课程学习的策略可以推广到其他机器学习任务中，提升模型的训练效率和泛化能力。

📄 摘要（原文）

Curriculum learning has shown promise in improving training efficiency and generalization in various machine learning domains, yet its potential in pretraining language models remains underexplored, prompting our work as the first systematic investigation in this area. We experimented with different settings, including vanilla curriculum learning, pacing-based sampling, and interleaved curricula-guided by six difficulty metrics spanning linguistic and information-theoretic perspectives. We train models under these settings and evaluate their performance on eight diverse benchmarks. Our experiments reveal that curriculum learning consistently improves convergence in early and mid-training phases, and can yield lasting gains when used as a warmup strategy with up to $3.5\%$ improvement. Notably, we identify compression ratio, lexical diversity, and readability as effective difficulty signals across settings. Our findings highlight the importance of data ordering in large-scale pretraining and provide actionable insights for scalable, data-efficient model development under realistic training scenarios.