Scaling Laws of Synthetic Data for Language Models

📄 arXiv: 2503.19551v3 📥 PDF

作者: Zeyu Qin, Qingxiu Dong, Xingxing Zhang, Li Dong, Xiaolong Huang, Ziyi Yang, Mahmoud Khademi, Dongdong Zhang, Hany Hassan Awadalla, Yi R. Fung, Weizhu Chen, Minhao Cheng, Furu Wei

分类: cs.CL, cs.AI

发布日期: 2025-03-25 (更新: 2025-10-05)

备注: COLM 2025

💡 一句话要点

SynthLLM：通过图算法自动生成高质量合成数据，探索语言模型的可扩展性规律。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据 语言模型 可扩展性 图算法 预训练

📋 核心要点

  1. 现有LLM依赖的网络数据面临枯竭，合成数据是潜在的替代方案，但其可扩展性尚不明确。
  2. 提出SynthLLM框架，利用图算法从预训练语料中提取和重组高级概念，生成高质量合成数据。
  3. 实验表明SynthLLM生成的数据遵循修正扩展规律，性能在300B tokens附近趋于平稳，且大模型所需tokens更少。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出色，这主要归功于预训练中使用的高质量网络数据。然而，最近的研究表明这种数据来源正在迅速枯竭。合成数据作为一种有希望的替代方案出现，但合成数据集是否表现出与原始预训练数据相当的可预测可扩展性仍不清楚。本文通过引入SynthLLM，一个可扩展的框架，将预训练语料库转换为多样化、高质量的合成数据集，系统地研究了合成数据的扩展规律。我们的方法通过使用图算法自动提取和重组多个文档中的高级概念来实现这一点。对SynthLLM进行的大量数学实验的关键发现包括：（1）SynthLLM生成的合成数据可靠地遵循各种模型大小的修正扩展规律；（2）性能改进在接近300B tokens时趋于平稳；（3）更大的模型以更少的训练tokens接近最佳性能。例如，一个8B模型在1T tokens时达到峰值，而一个3B模型需要4T。此外，与现有的合成数据生成和增强方法相比，SynthLLM实现了卓越的性能和可扩展性。我们的研究结果表明，合成数据是原始预训练语料库的可扩展和可靠的替代方案，为模型性能的持续改进提供了一条可行的途径。

🔬 方法详解

问题定义：论文旨在解决大型语言模型预训练数据日益枯竭的问题，探索使用合成数据作为替代方案的可行性。现有方法生成的合成数据质量和可扩展性不足，无法有效替代真实数据，限制了LLM的持续发展。

核心思路：论文的核心思路是设计一个能够自动生成高质量、多样化且可扩展的合成数据的框架。通过从现有预训练语料中提取和重组高级概念，模拟真实数据的结构和语义关系，从而使模型能够从合成数据中学习到有效的知识。

技术框架：SynthLLM框架主要包含以下几个阶段：1) 概念提取：使用图算法从预训练语料库中自动提取高级概念，例如实体、关系和事件。2) 概念重组：将提取的概念进行重组，生成新的句子和段落，模拟真实文本的结构和语义关系。3) 数据生成：将重组后的概念转化为自然语言文本，生成合成数据集。4) 模型训练：使用生成的合成数据训练大型语言模型。

关键创新：SynthLLM的关键创新在于其自动化的概念提取和重组过程。传统的合成数据生成方法通常依赖于人工规则或模板，难以生成高质量和多样化的数据。SynthLLM通过图算法自动学习数据中的结构和语义关系，从而能够生成更逼真和有效的合成数据。

关键设计：SynthLLM的关键设计包括：1) 使用图神经网络进行概念提取，能够有效地捕捉文本中的语义关系。2) 设计了一种新的概念重组算法，能够生成多样化的句子和段落。3) 采用了一种自适应的训练策略，能够根据模型的大小和数据量调整训练参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SynthLLM生成的合成数据能够有效地训练大型语言模型，并且在各种模型大小上都表现出良好的可扩展性。与现有的合成数据生成方法相比，SynthLLM在性能和可扩展性方面都取得了显著的提升。例如，使用SynthLLM训练的8B模型在1T tokens时达到峰值，而3B模型需要4T tokens。

🎯 应用场景

该研究成果可应用于各种需要大量训练数据的自然语言处理任务，例如机器翻译、文本摘要、对话生成等。通过使用合成数据，可以降低对真实数据的依赖，解决数据稀缺问题，并加速LLM的开发和部署。此外，该方法还可以用于数据增强，提高模型的鲁棒性和泛化能力。

📄 摘要（原文）

Large language models (LLMs) achieve strong performance across diverse tasks, largely driven by high-quality web data used in pre-training. However, recent studies indicate this data source is rapidly depleting. Synthetic data emerges as a promising alternative, but it remains unclear whether synthetic datasets exhibit predictable scalability comparable to raw pre-training data. In this work, we systematically investigate the scaling laws of synthetic data by introducing SynthLLM, a scalable framework that transforms pre-training corpora into diverse, high-quality synthetic datasets. Our approach achieves this by automatically extracting and recombining high-level concepts across multiple documents using a graph algorithm. Key findings from our extensive mathematical experiments on SynthLLM include: (1) SynthLLM generates synthetic data that reliably adheres to the rectified scaling law across various model sizes; (2) Performance improvements plateau near 300B tokens; and (3) Larger models approach optimal performance with fewer training tokens. For instance, an 8B model peaks at 1T tokens, while a 3B model requires 4T. Moreover, comparisons with existing synthetic data generation and augmentation methods demonstrate that SynthLLM achieves superior performance and scalability. Our findings highlight synthetic data as a scalable and reliable alternative to organic pre-training corpora, offering a viable path toward continued improvement in model performance.