Efficient Continual Pre-training of LLMs for Low-resource Languages

📄 arXiv: 2412.10244v1 📥 PDF

作者: Arijit Nag, Soumen Chakrabarti, Animesh Mukherjee, Niloy Ganguly

分类: cs.CL, cs.LG

发布日期: 2024-12-13

💡 一句话要点

提出高效的LLM持续预训练方法，降低低资源语言的训练成本并提升性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低资源语言 持续预训练 大型语言模型 数据选择 词汇扩充

📋 核心要点

  1. 低资源语言的LLM训练面临数据稀缺和计算成本高昂的挑战，现有方法难以兼顾效率与性能。
  2. 论文提出一种新的文本选择算法和词汇扩充算法，旨在以更少的数据和计算资源实现高效的持续预训练。
  3. 实验结果表明，该方法在多种印度语言上有效提升了Llama-3模型的生成性能，验证了其在低资源场景下的潜力。

📝 摘要（中文）

开源大型语言模型(OsLLM)通过允许修改或更新模型参数来提高性能，从而推动了自然语言研究的民主化。然而，与专有LLM一样，由于训练数据量较小和词汇量不足，OsLLM在低资源语言(LRL)上的表现不如高资源语言(HRL)。另一方面，使用大量特定语言数据进行持续预训练(CPT)在数据获取和计算资源方面成本高昂。我们的目标是大幅降低CPT成本。为此，我们首先开发了一种新算法来从更大的语料库中选择文本子集。我们展示了我们的技术在使用极少CPT数据时的有效性。为了进一步改进，我们设计了一种新算法来选择要包含在LLM词汇表中的token。我们使用最新的Llama-3模型和九种具有不同脚本和资源可用程度的印度语言进行了实验。为了评估，我们使用了IndicGenBench，这是一个针对印度语言的生成任务基准数据集。我们试验了各种CPT语料库和扩充的词汇量大小，并提供了跨语言系列的见解。

🔬 方法详解

问题定义：现有的大型语言模型在低资源语言上的表现不佳，主要原因是训练数据不足和词汇覆盖率有限。直接使用大量数据进行持续预训练成本高昂，限制了低资源语言模型的开发和应用。因此，需要一种高效的方法，在有限的计算资源和数据条件下，提升低资源语言模型的性能。

核心思路：论文的核心思路是通过智能的数据选择和词汇扩充来降低持续预训练的成本。首先，设计算法从大规模语料库中选择最具代表性和信息量的文本子集，用于持续预训练。其次，通过算法选择对模型性能提升最有帮助的token添加到词汇表中，从而提高模型对低资源语言的理解能力。

技术框架：该方法主要包含两个阶段：数据选择和词汇扩充。在数据选择阶段，使用提出的算法从大规模语料库中选择一个小的文本子集。在词汇扩充阶段，使用提出的算法选择新的token添加到模型的词汇表中。然后，使用选择的数据和扩充的词汇表对LLM进行持续预训练。最后，使用IndicGenBench等基准数据集评估模型的性能。

关键创新：论文的关键创新在于提出了两种新的算法：一种用于选择最具代表性的文本子集，另一种用于选择对模型性能提升最有帮助的token。这两种算法都旨在最大限度地利用有限的资源，从而降低持续预训练的成本。与现有方法相比，该方法更加注重数据和词汇选择的效率，能够在更少的资源下取得更好的性能。

关键设计：论文中数据选择和token选择算法的具体细节未知。实验中使用了Llama-3模型，并针对九种印度语言进行了实验。评估指标为IndicGenBench生成任务的性能。具体的数据选择算法、token选择算法、损失函数和超参数设置等细节在论文中可能有所描述，但此处无法得知。

📊 实验亮点

论文在九种印度语言上进行了实验，结果表明，使用少量持续预训练数据和扩充的词汇表，可以显著提升Llama-3模型在IndicGenBench上的生成性能。具体提升幅度未知，但实验结果验证了该方法在低资源语言场景下的有效性，并为进一步研究提供了有价值的参考。

🎯 应用场景

该研究成果可应用于低资源语言的机器翻译、文本生成、信息检索等领域。通过降低LLM在低资源语言上的训练成本，可以促进这些语言的数字化发展，并为全球用户提供更优质的自然语言处理服务。该方法也有潜力推广到其他资源受限的场景，例如特定领域的专业语言模型训练。

📄 摘要（原文）

Open-source Large Language models (OsLLMs) propel the democratization of natural language research by giving the flexibility to augment or update model parameters for performance improvement. Nevertheless, like proprietary LLMs, Os-LLMs offer poorer performance on low-resource languages (LRLs) than high-resource languages (HRLs), owing to smaller amounts of training data and underrepresented vocabulary. On the other hand, continual pre-training (CPT) with large amounts of language-specific data is a costly proposition in terms of data acquisition and computational resources. Our goal is to drastically reduce CPT cost. To that end, we first develop a new algorithm to select a subset of texts from a larger corpus. We show the effectiveness of our technique using very little CPT data. In search of further improvement, we design a new algorithm to select tokens to include in the LLM vocabulary. We experiment with the recent Llama-3 model and nine Indian languages with diverse scripts and extent of resource availability. For evaluation, we use IndicGenBench, a generation task benchmark dataset for Indic languages. We experiment with various CPT corpora and augmented vocabulary size and offer insights across language families.