Irreducible Curriculum for Language Model Pretraining
作者: Simin Fan, Martin Jaggi
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-10-23
💡 一句话要点
提出不可约课程以优化语言模型预训练
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 课程学习 数据选择 预训练 深度学习
📋 核心要点
- 现有的自动数据选择和课程设计方法在大型语言模型训练中效果有限，尤其是在计算成本和样本选择的细粒度方面。
- 本文提出不可约课程，通过优先选择可学习性高的样本，利用小规模代理模型来模拟样本损失，从而降低计算开销。
- 在RedPajama-1B数据集上的实验结果显示，本文方法在验证困惑度上优于随机均匀基线，并在MMLU基准上表现出更好的5-shot准确率。
📝 摘要（中文）
自动数据选择和课程设计在大型语言模型的训练中面临挑战，现有方法仅有少数在标准训练上有所改进。此外，现有方案主要关注领域级选择，忽视了每个训练点的细微贡献。传统的数据点选择方法难以应用于大型语言模型，因为大多数在线批量选择方法需要进行两次前向或反向传播，导致额外的计算成本。为了解决这些问题，本文提出了一种不可约课程作为语言模型预训练的课程学习算法，优先选择可学习性更高的样本。通过使用小规模代理模型模拟样本损失，避免了过高的计算开销。实验结果表明，与随机均匀基线和反课程策略相比，本文方法在RedPajama-1B数据集上在所有7个领域的验证困惑度上均有一致改善。
🔬 方法详解
问题定义：本文旨在解决大型语言模型预训练中的数据选择和课程设计问题。现有方法在计算成本和样本选择的细粒度贡献方面存在不足，导致训练效果不佳。
核心思路：提出不可约课程算法，优先选择可学习性高的样本，并通过小规模代理模型模拟样本损失，以避免高昂的计算开销。
技术框架：整体流程包括使用代理模型进行样本损失的模拟，结合主模型的训练轨迹，形成一个动态的样本选择机制。主要模块包括数据选择模块和训练优化模块。
关键创新：最重要的创新在于通过代理模型的引入，解决了传统方法中计算成本过高的问题，使得样本选择更加高效且具有针对性。
关键设计：在参数设置上，选择了适合的代理模型架构，并设计了损失函数以准确反映样本的可学习性，同时优化了网络结构以提高整体训练效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在RedPajama-1B数据集上相较于随机均匀基线和反课程策略，验证困惑度均有显著改善，且在MMLU基准上实现了更好的5-shot准确率，体现了方法的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过优化语言模型的预训练过程，可以显著提升模型在实际任务中的表现，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更高效的模型训练策略的发展，促进人工智能技术的进步。
📄 摘要（原文）
Automatic data selection and curriculum design for training large language models is challenging, with only a few existing methods showing improvements over standard training. Furthermore, current schemes focus on domain-level selection, overlooking the more fine-grained contributions of each individual training point. It is difficult to apply traditional datapoint selection methods on large language models: most online batch selection methods perform two-times forward or backward passes, which introduces considerable extra costs with large-scale models. To mitigate these obstacles, we propose irreducible curriculum as a curriculum learning algorithm for language model pretraining, which prioritizes samples with higher learnability. Specifically, to avoid prohibitive extra computation overhead, we simulate the sample loss along the main model's training trajectory using a small-scale proxy model. Our experiments on the RedPajama-1B dataset demonstrate a consistent improvement on validation perplexity across all 7 domains compared to random uniform baseline and the anti-curriculum strategy. Our method also reduces the sharpness of the network and illustrates a better 5-shot accuracy on MMLU benchmarks.