Rephrasing natural text data with different languages and quality levels for Large Language Model pre-training

📄 arXiv: 2410.20796v1 📥 PDF

作者: Michael Pieler, Marco Bellagente, Hannah Teufel, Duy Phung, Nathan Cooper, Jonathan Tow, Paulo Rocha, Reshinth Adithyan, Zaid Alyafeai, Nikhil Pinnaparaju, Maksym Zhuravinskyi, Carlos Riquelme

分类: cs.CL

发布日期: 2024-10-28

备注: 21 pages, 4 figures, 12 tables

💡 一句话要点

提出多语言和多质量等级的文本复述方法，用于提升大型语言模型预训练效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 预训练 文本复述 多语言 数据增强

📋 核心要点

  1. 现有LLM预训练方法在数据利用上存在局限，复述技术为扩展训练数据提供了新途径。
  2. 论文提出一种优化的复述流程，通过不同语言和质量等级的文本生成，丰富预训练数据。
  3. 实验表明，该方法在多种语言和基准测试中均能提升LLM性能，尤其是在低质量数据上。

📝 摘要（中文）

本文研究了利用复述自然文本数据进行LLM预训练的方法，并在C4数据集上复现了已有成果。进一步，作者将优化的复述流程扩展到CulturaX的英语、德语、意大利语和西班牙语Oscar子集上。实验表明，该流程在单语和多语设置下均能提高标准评估基准的性能。此外，本文还详细研究了复述流程，包括基础数据集和LLM的选择，以及模型大小与预训练后性能之间的关系。研究发现，随着数据质量的提高，收益会降低，且模型家族之间的性能差异大于不同模型大小之间的差异。这突出了在选择LLM复述大量数据之前进行详细测试的必要性。此外，本文还研究了使用合成数据进行预训练对监督微调的影响，发现结果具有不确定性，并且高度依赖于所使用的基准。总而言之，本文表明复述多语言和低质量数据是扩展LLM预训练数据的一个非常有前景的方向。

🔬 方法详解

问题定义：现有的大型语言模型预训练依赖于大规模的自然文本数据。然而，高质量数据的获取成本高昂，且数据分布可能存在偏差。简单的增加数据量并不能保证模型性能的提升。因此，如何有效地利用已有的数据，特别是低质量和多语言数据，成为一个重要的研究问题。

核心思路：论文的核心思路是通过复述（rephrasing）已有的自然文本数据，生成新的、具有不同风格和质量等级的文本，从而扩充预训练数据集。这种方法可以有效地增加数据的多样性，并帮助模型学习到更加鲁棒的语言表示。通过控制复述的质量，可以探索不同质量等级的数据对模型性能的影响。

技术框架：整体流程包括以下几个主要步骤：1) 选择基础数据集（如C4或Oscar的子集）；2) 使用LLM进行文本复述，生成新的文本数据；3) 将原始数据和复述后的数据混合，用于LLM的预训练；4) 在标准评估基准上评估预训练模型的性能。该流程的关键在于选择合适的LLM进行复述，并控制复述的质量。

关键创新：论文的关键创新在于：1) 系统性地研究了不同语言和质量等级的复述数据对LLM预训练的影响；2) 提出了一个优化的复述流程，能够在多种语言上生成高质量的复述数据；3) 深入分析了模型大小、模型家族以及复述数据质量对预训练性能的影响。

关键设计：在复述过程中，论文探索了不同的LLM作为复述模型，并比较了它们在生成质量和计算成本上的差异。同时，论文还研究了不同的数据混合策略，例如，将原始数据和复述数据按照不同的比例进行混合。此外，论文还关注了复述数据对下游任务的影响，特别是对监督微调任务的影响。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，使用复述数据进行预训练可以显著提高LLM在标准评估基准上的性能。例如，在C4数据集上复现了已有成果，并在CulturaX的Oscar子集上取得了进一步的提升。研究还发现，模型家族之间的性能差异大于不同模型大小之间的差异，这表明选择合适的复述模型至关重要。此外，低质量数据的复述也能带来增益，但随着质量提高，增益会降低。

🎯 应用场景

该研究成果可应用于各种需要大规模语言模型的场景，例如机器翻译、文本摘要、对话系统和内容生成。通过利用低质量和多语言数据，可以降低预训练成本，并提高模型在资源匮乏语言上的性能。此外，该方法还可以用于生成更具多样性和创造性的文本内容。

📄 摘要（原文）

Recently published work on rephrasing natural text data for pre-training LLMs has shown promising results when combining the original dataset with the synthetically rephrased data. We build upon previous work by replicating existing results on C4 and extending them with our optimized rephrasing pipeline to the English, German, Italian, and Spanish Oscar subsets of CulturaX. Our pipeline leads to increased performance on standard evaluation benchmarks in both the mono- and multilingual setup. In addition, we provide a detailed study of our pipeline, investigating the choice of the base dataset and LLM for the rephrasing, as well as the relationship between the model size and the performance after pre-training. By exploring data with different perceived quality levels, we show that gains decrease with higher quality. Furthermore, we find the difference in performance between model families to be bigger than between different model sizes. This highlights the necessity for detailed tests before choosing an LLM to rephrase large amounts of data. Moreover, we investigate the effect of pre-training with synthetic data on supervised fine-tuning. Here, we find increasing but inconclusive results that highly depend on the used benchmark. These results (again) highlight the need for better benchmarking setups. In summary, we show that rephrasing multilingual and low-quality data is a very promising direction to extend LLM pre-training data.