Tiny language models

📄 arXiv: 2507.14871v2 📥 PDF

作者: Ronit D. Gross, Yarden Tzach, Tal Halevi, Ella Koresh, Ido Kanter

分类: cs.CL

发布日期: 2025-07-20 (更新: 2025-07-23)

备注: 23 pages, 1 figure and 12 tables, The data and code that support the findings of this study are openly available in a GitHub repository at https://github.com/Rg32601/Tiny-Language-Models

期刊: Physica A: Statistical Mechanics and its Applications Volume 681, 1 January 2026, 131102

DOI: 10.1016/j.physa.2025.131102

🔗 代码/项目: GITHUB

💡 一句话要点

探索小型语言模型：验证其预训练有效性及可扩展性，降低NLP研究门槛

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 预训练 Transformer 文本分类 模型压缩 知识迁移 低延迟

📋 核心要点

  1. 大型语言模型预训练需要大量计算资源，限制了研究参与，因此需要更易于访问的替代方案。
  2. 研究探索小型语言模型(TLM)是否具备与LLM相似的关键特性，并验证其预训练的有效性。
  3. 实验表明，预训练的TLM在分类任务中表现出显著优势，且可通过浅层模型组合实现低延迟。

📝 摘要（中文）

自然语言处理(NLP)的一个显著成就是其理解和生成有意义的人类语言的能力。这种能力依赖于在大型语言模型(LLM)上预训练的复杂前馈Transformer块架构。然而，由于所需的巨大计算资源，LLM预训练目前仅对少数主导公司可行，限制了更广泛的研究参与。因此，迫切需要更易于访问的替代方案。本研究探讨了小型语言模型(TLM)是否表现出与LLM相同的关键定性特征。我们证明，TLM在分类任务中，预训练模型和非预训练模型之间存在明显的性能差距，表明即使在微小规模下，预训练也是有效的。性能差距随着预训练数据集的大小以及预训练和分类数据集中token的重叠程度而增加。此外，预训练的深度TLM架构所实现的分类精度可以通过多个独立预训练的浅层架构的软委员会来复制，从而实现低延迟TLM，而不影响分类精度。我们的结果基于在Wikipedia数据集的子集上预训练BERT-6和BERT-1的变体，并评估它们在FewRel、AGNews和DBPedia分类任务中的性能。未来对TLM的研究有望进一步阐明NLP的底层机制，特别是考虑到其生物学灵感的模型表明TLM可能足以让儿童或青少年发展语言。该研究的数据和代码可在https://github.com/Rg32601/Tiny-Language-Models上公开获取。

🔬 方法详解

问题定义：现有大型语言模型（LLM）的预训练需要巨大的计算资源，使得只有少数公司能够进行，阻碍了更广泛的研究。论文旨在探索小型语言模型（TLM）是否能够具备LLM的关键特性，从而降低NLP研究的门槛。现有方法的问题在于高昂的计算成本和资源需求，限制了研究的普及性。

核心思路：论文的核心思路是研究小型语言模型（TLM）的预训练效果，验证其是否能够在较小的规模下实现与LLM相似的性能提升。通过预训练和非预训练模型的对比，以及不同规模数据集的实验，来评估TLM的有效性。此外，探索通过多个浅层TLM的组合来达到深度TLM的性能，从而降低延迟。

技术框架：整体框架包括以下几个阶段：1) 选择小型语言模型架构（BERT-6和BERT-1的变体）；2) 在Wikipedia数据集的子集上进行预训练；3) 在FewRel、AGNews和DBPedia等分类任务上评估模型性能；4) 比较预训练和非预训练模型的性能差异；5) 研究通过多个浅层TLM组合实现深度TLM性能的方法。

关键创新：论文的关键创新在于验证了小型语言模型在预训练后能够表现出与大型语言模型相似的性能提升，并且可以通过多个浅层模型的组合来实现深度模型的性能，从而降低了计算成本和延迟。这为更广泛的研究者参与NLP研究提供了可能性。

关键设计：论文的关键设计包括：1) 选择BERT-6和BERT-1作为小型语言模型的基础架构；2) 使用Wikipedia数据集的子集进行预训练，并控制数据集的大小；3) 使用FewRel、AGNews和DBPedia等分类任务作为评估基准；4) 通过软委员会（soft committee）的方式组合多个独立预训练的浅层模型，以实现深度模型的性能。

📊 实验亮点

实验结果表明，预训练的TLM在分类任务中表现出明显的性能提升，且性能差距随着预训练数据集的增大而增加。通过多个独立预训练的浅层TLM的软委员会，可以复制深度TLM的分类精度，实现低延迟且不损失性能。

🎯 应用场景

该研究成果可应用于资源受限环境下的自然语言处理任务，例如移动设备上的文本分类、低功耗嵌入式系统的语言理解等。通过小型化模型和模型组合技术，可以降低计算成本和延迟，使得NLP技术能够更广泛地应用。

📄 摘要（原文）

A prominent achievement of natural language processing (NLP) is its ability to understand and generate meaningful human language. This capability relies on complex feedforward transformer block architectures pre-trained on large language models (LLMs). However, LLM pre-training is currently feasible only for a few dominant companies due to the immense computational resources required, limiting broader research participation. This creates a critical need for more accessible alternatives. In this study, we explore whether tiny language models (TLMs) exhibit the same key qualitative features of LLMs. We demonstrate that TLMs exhibit a clear performance gap between pre-trained and non-pre-trained models across classification tasks, indicating the effectiveness of pre-training, even at a tiny scale. The performance gap increases with the size of the pre-training dataset and with greater overlap between tokens in the pre-training and classification datasets. Furthermore, the classification accuracy achieved by a pre-trained deep TLM architecture can be replicated through a soft committee of multiple, independently pre-trained shallow architectures, enabling low-latency TLMs without affecting classification accuracy. Our results are based on pre-training BERT-6 and variants of BERT-1 on subsets of the Wikipedia dataset and evaluating their performance on FewRel, AGNews, and DBPedia classification tasks. Future research on TLM is expected to further illuminate the mechanisms underlying NLP, especially given that its biologically inspired models suggest that TLMs may be sufficient for children or adolescents to develop language. The data and code that support the findings of this study are openly available on https://github.com/Rg32601/Tiny-Language-Models .