Scaling Synthetic Data Creation with 1,000,000,000 Personas

📄 arXiv: 2406.20094v3 📥 PDF

作者: Tao Ge, Xin Chan, Xiaoyang Wang, Dian Yu, Haitao Mi, Dong Yu

分类: cs.CL, cs.LG

发布日期: 2024-06-28 (更新: 2025-05-08)

备注: Work in progress

💡 一句话要点

提出Persona Hub，利用十亿级Persona驱动LLM生成多样化合成数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据 大型语言模型 Persona 数据生成 知识表示

📋 核心要点

  1. 现有合成数据方法难以覆盖LLM的全部视角，限制了生成数据的多样性和质量。
  2. 提出Persona Hub，包含十亿级Persona，作为知识载体驱动LLM生成多样化合成数据。
  3. 实验证明，该方法在数学推理、指令生成、知识文本生成等任务上有效且易用。

📝 摘要（中文）

本文提出了一种新颖的Persona驱动的数据合成方法，该方法利用大型语言模型（LLM）中的各种视角来创建多样化的合成数据。为了大规模地充分利用这种方法，我们引入了Persona Hub——一个包含10亿个从网络数据中自动策划的多样化Persona的集合。这10亿个Persona（约占世界总人口的13%）作为世界知识的分布式载体，可以挖掘LLM中几乎所有封装的视角，从而促进为各种场景大规模创建多样化的合成数据。通过展示Persona Hub在合成高质量的数学和逻辑推理问题、指令（即用户提示）、知识丰富的文本、游戏NPC和工具（函数）等方面的用例，我们证明了Persona驱动的数据合成是通用的、可扩展的、灵活的且易于使用的，有可能推动合成数据创建和实践应用中的范式转变，这可能对LLM的研究和开发产生深远的影响。

🔬 方法详解

问题定义：论文旨在解决合成数据多样性和覆盖度不足的问题。现有方法难以充分利用大型语言模型（LLM）所蕴含的丰富知识和视角，导致生成的合成数据在质量和多样性方面存在局限性，无法满足各种复杂场景的需求。

核心思路：论文的核心思路是利用大量具有不同背景和特征的Persona来驱动LLM生成合成数据。每个Persona代表一种独特的视角和知识体系，通过模拟不同Persona的行为和思考方式，可以引导LLM生成更具多样性和真实性的数据。

技术框架：整体框架包含Persona Hub的构建和基于Persona的数据合成两个主要阶段。Persona Hub通过自动化的方式从网络数据中提取和整理出10亿个Persona。数据合成阶段则利用这些Persona作为输入，引导LLM生成各种类型的合成数据，例如数学推理问题、用户指令、知识文本等。

关键创新：最重要的创新点在于Persona Hub的规模和多样性。通过构建一个包含10亿个Persona的知识库，该方法能够覆盖LLM中几乎所有可能的视角，从而显著提升合成数据的多样性和质量。与现有方法相比，该方法无需人工干预，可以自动地生成大量高质量的合成数据。

关键设计：Persona Hub的构建过程涉及数据清洗、实体识别、关系抽取等多个步骤。在数据合成阶段，可以通过调整Persona的属性和行为模式来控制生成数据的类型和特征。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文展示了Persona Hub在多个任务上的应用，包括数学推理问题生成、用户指令生成、知识文本生成等。实验结果表明，基于Persona Hub生成的合成数据能够有效提升LLM的性能，例如，在数学推理任务上，使用合成数据训练的LLM取得了显著的提升。具体的性能数据和提升幅度在论文中未详细给出，属于未知信息。

🎯 应用场景

该研究成果可广泛应用于LLM的训练和评估，例如，利用合成数据增强LLM的推理能力、生成更真实的对话数据、构建更全面的评估基准。此外，该方法还可用于游戏AI、虚拟助手等领域，提升NPC的智能化水平和用户体验。

📄 摘要（原文）

We propose a novel persona-driven data synthesis methodology that leverages various perspectives within a large language model (LLM) to create diverse synthetic data. To fully exploit this methodology at scale, we introduce Persona Hub -- a collection of 1 billion diverse personas automatically curated from web data. These 1 billion personas (~13% of the world's total population), acting as distributed carriers of world knowledge, can tap into almost every perspective encapsulated within the LLM, thereby facilitating the creation of diverse synthetic data at scale for various scenarios. By showcasing Persona Hub's use cases in synthesizing high-quality mathematical and logical reasoning problems, instructions (i.e., user prompts), knowledge-rich texts, game NPCs and tools (functions) at scale, we demonstrate persona-driven data synthesis is versatile, scalable, flexible, and easy to use, potentially driving a paradigm shift in synthetic data creation and applications in practice, which may have a profound impact on LLM research and development.