Findings of the BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora

📄 arXiv: 2504.08165v1 📥 PDF

作者: Alex Warstadt, Aaron Mueller, Leshem Choshen, Ethan Wilcox, Chengxu Zhuang, Juan Ciro, Rafael Mosquera, Bhargavi Paranjape, Adina Williams, Tal Linzen, Ryan Cotterell

分类: cs.CL

发布日期: 2025-04-10

备注: Published in Proceedings of BabyLM. Please cite the published version on ACL anthology: http://aclanthology.org/2023.conll-babylm.1/

期刊: 2023. In Proceedings of the BabyLM Challenge at the 27th Conference on Computational Natural Language Learning, pages 1-34, Singapore. Association for Computational Linguistics

DOI: 10.18653/v1/2023.conll-babylm.1

💡 一句话要点

BabyLM挑战赛：探索在有限数据下高效预训练语言模型的方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 预训练 数据效率 BabyLM挑战赛 LTG-BERT

📋 核心要点

  1. 大型语言模型训练需要海量数据，远超人类学习所需，限制了其作为认知模型的应用。
  2. BabyLM挑战赛旨在探索在有限数据预算下，高效训练语言模型的策略和方法。
  3. 挑战赛结果表明，LTG-BERT等架构在有限数据下表现优异，胜过在海量数据上训练的模型。

📝 摘要（中文）

儿童能在少于1亿词的输入中习得语言。而大型语言模型的数据效率远低于此，通常需要多出3到4个数量级的数据，并且在许多评估中表现不如人类。这种对资源的巨大需求限制了研究人员训练新模型以及将现有模型用作发展上合理的认知模型的能力。BabyLM挑战赛是一项社区合作，参与者竞争在固定的数据预算下优化语言模型训练。提交的模型在针对语法能力、下游任务性能和泛化的各种评估任务上进行比较。参与者可以提交最多三个赛道，数据限制逐渐放宽。从30多个提交中，我们提取了关于如何最好地训练数据高效的语言模型的具体建议，以及未来努力应该（也许不应该）关注的地方。使用LTG-BERT架构（Samuel et al., 2023）的获胜提交优于在数万亿词上训练的模型。其他提交通过训练较短的输入序列或在预训练的教师模型上训练学生模型获得了强大的结果。课程学习尝试占据了大量提交，但大多不成功，尽管有些显示出适度的改进。

🔬 方法详解

问题定义：现有大型语言模型（LLM）训练需要消耗大量数据，远超人类学习语言所需的数据量。这不仅增加了训练成本，也使得LLM难以作为发展心理学中人类认知建模的工具。因此，如何在有限的数据预算下，训练出高性能的语言模型，是BabyLM挑战赛要解决的核心问题。现有方法的数据效率低下是主要痛点。

核心思路：BabyLM挑战赛的核心思路是，通过社区合作，鼓励研究人员探索各种数据高效的训练策略，并在统一的评估框架下进行比较。通过分析各种提交方案的优缺点，提取出在有限数据下训练高性能语言模型的有效方法。挑战赛鼓励尝试不同的模型架构、训练技巧和数据处理方法，以提高数据利用率。

技术框架：BabyLM挑战赛本身是一个评估框架，而非一个特定的技术框架。参与者可以自由选择模型架构、训练数据和训练策略。挑战赛组织者提供固定的数据预算和评估任务，参与者提交训练好的模型，并在评估任务上进行性能比较。评估任务涵盖语法能力、下游任务性能和泛化能力等多个方面。

关键创新：BabyLM挑战赛的创新之处在于，它提供了一个社区驱动的平台，用于探索数据高效的语言模型训练方法。通过比较各种提交方案，可以识别出在有限数据下表现优异的模型架构和训练策略。挑战赛的结果可以为未来的语言模型研究提供指导，并促进LLM在认知建模等领域的应用。

关键设计：挑战赛的关键设计包括：1) 固定的数据预算，确保公平比较；2) 多样化的评估任务，全面评估模型性能；3) 社区参与，鼓励创新和知识共享；4) 不同数据限制的赛道，允许探索不同数据规模下的训练策略。一些成功的提交方案采用了LTG-BERT架构，并结合了较短的输入序列和教师-学生训练等技巧。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

挑战赛结果表明，使用LTG-BERT架构的获胜模型在有限数据下表现优异，甚至超过了在数万亿词上训练的模型。这表明，通过合适的模型架构和训练策略，可以在数据效率方面取得显著提升。此外，一些提交方案通过训练较短的输入序列或使用教师-学生训练等技巧，也获得了良好的结果。

🎯 应用场景

该研究成果可应用于资源受限场景下的语言模型训练，例如移动设备或嵌入式系统。同时，数据高效的语言模型更适合作为认知模型，用于研究人类语言习得机制。此外，该研究还有助于开发更具可持续性的AI系统，降低训练成本和能源消耗。

📄 摘要（原文）

Children can acquire language from less than 100 million words of input. Large language models are far less data-efficient: they typically require 3 or 4 orders of magnitude more data and still do not perform as well as humans on many evaluations. These intensive resource demands limit the ability of researchers to train new models and use existing models as developmentally plausible cognitive models. The BabyLM Challenge is a communal effort in which participants compete to optimize language model training on a fixed data budget. Submissions are compared on various evaluation tasks targeting grammatical ability, downstream task performance, and generalization. Participants can submit to up to three tracks with progressively looser data restrictions. From over 30 submissions, we extract concrete recommendations on how best to train data-efficient language models, and on where future efforts should (and perhaps should not) focus. The winning submissions using the LTG-BERT architecture (Samuel et al., 2023) outperformed models trained on trillions of words. Other submissions achieved strong results through training on shorter input sequences or training a student model on a pretrained teacher. Curriculum learning attempts, which accounted for a large number of submissions, were largely unsuccessful, though some showed modest improvements.