On the Diversity of Synthetic Data and its Impact on Training Large Language Models

📄 arXiv: 2410.15226v2 📥 PDF

作者: Hao Chen, Abdul Waheed, Xiang Li, Yidong Wang, Jindong Wang, Bhiksha Raj, Marah I. Abdin

分类: cs.CL

发布日期: 2024-10-19 (更新: 2024-10-22)

💡 一句话要点

提出LLM cluster-agent度量合成数据多样性，并验证其对大语言模型训练的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据 数据多样性 大型语言模型 预训练 微调

📋 核心要点

  1. 现有方法主要关注真实数据的质量和数量，缺乏对合成数据多样性的有效评估方法。
  2. 提出LLM cluster-agent，一种基于聚类的LLM多样性评分方法，用于评估合成数据集的多样性。
  3. 实验表明，合成数据的多样性与LLM的预训练和监督微调性能呈正相关，尤其对微调阶段影响更大。

📝 摘要（中文）

大型语言模型（LLM）的兴起凸显了对多样化、高质量预训练数据的需求。合成数据作为解决数据稀缺和难以获取问题的可行方案。虽然之前的文献主要关注真实数据的质量和数量，但我们的工作旨在衡量合成数据的多样性，并探索其对LLM性能的影响。我们通过引入一种新的多样性度量标准，即 extit{LLM cluster-agent}，来评估合成数据集的多样性，从而研究合成数据多样性在预训练和微调阶段的下游影响。通过对3.5亿和14亿参数的模型进行一系列受控实验，我们证明了所提出的基于聚类的LLM多样性评分与预训练和监督微调性能呈正相关。我们的研究结果还表明，即使对于较小的模型，预训练中合成数据的多样性对监督微调的影响也比预训练本身更显著。我们希望这项研究能够加深我们对在LLM训练中优化使用合成数据的理解，并为高效的数据生成过程开辟新的途径。

🔬 方法详解

问题定义：论文旨在解决如何有效衡量合成数据的多样性，并研究其对大型语言模型（LLM）训练性能的影响。现有方法主要关注真实数据的质量和数量，忽略了合成数据多样性的重要性，缺乏有效的度量标准。

核心思路：论文的核心思路是利用LLM本身来评估合成数据的多样性。通过将合成数据进行聚类，并使用LLM作为“代理”来评估每个簇的代表性，从而量化整个数据集的多样性。这种方法能够更准确地反映LLM对数据的理解和利用程度。

技术框架：论文的技术框架主要包含以下几个阶段：1) 合成数据生成；2) 使用LLM对合成数据进行嵌入表示；3) 对嵌入表示进行聚类；4) 使用LLM cluster-agent评估每个簇的代表性；5) 计算整体多样性得分；6) 使用不同多样性得分的合成数据进行LLM的预训练和微调；7) 评估LLM在下游任务上的性能。

关键创新：论文最重要的技术创新点在于提出了LLM cluster-agent，一种利用LLM自身能力来评估数据多样性的方法。与传统的基于统计或距离的度量方法不同，LLM cluster-agent能够更好地捕捉数据在语义层面的差异，从而更准确地反映数据对LLM训练的价值。

关键设计：LLM cluster-agent的关键设计包括：1) 使用预训练的LLM（例如，BERT或GPT）对合成数据进行嵌入表示；2) 使用K-means等聚类算法对嵌入表示进行聚类；3) 对于每个簇，选择距离簇中心最近的样本作为代表；4) 使用LLM对每个簇的代表性进行评分，例如，通过计算LLM生成该代表性样本的概率；5) 将所有簇的代表性得分进行加权平均，得到整体多样性得分。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用LLM cluster-agent评估的合成数据多样性与LLM的预训练和监督微调性能呈正相关。具体来说，在3.5亿和14亿参数的模型上，使用更高多样性的合成数据进行预训练和微调，可以显著提高LLM在下游任务上的准确率和泛化能力。此外，研究还发现，合成数据多样性对监督微调的影响比预训练本身更显著。

🎯 应用场景

该研究成果可应用于各种需要使用合成数据训练LLM的场景，例如数据增强、隐私保护和领域自适应。通过优化合成数据的多样性，可以显著提高LLM的性能，降低训练成本，并扩展LLM的应用范围。未来，该方法还可以应用于其他类型的数据和模型。

📄 摘要（原文）

The rise of Large Language Models (LLMs) has accentuated the need for diverse, high-quality pre-training data. Synthetic data emerges as a viable solution to the challenges of data scarcity and inaccessibility. While previous literature has focused predominantly on the quality and quantity of real data, our work enables the measurement of diversity in synthetic data and explores its impact on LLM performance. We study the downstream effects of synthetic data diversity during both the pre-training and fine-tuning stages by introducing a new diversity metric, \textit{LLM cluster-agent}, designed to evaluate the diversity of synthetic datasets. Through a series of controlled experiments with models of 350M and 1.4B parameters, we demonstrate that the proposed cluster-based LLM scoring of diversity correlates positively with both pre-training and supervised fine-tuning performance. Our findings also reveal that synthetic data diversity in pre-training affects supervised fine-tuning more significantly than pre-training itself, even for smaller models. We hope this study advances our understanding of the optimal use of synthetic data in LLM training and opens new avenues for efficient data generation processes.