Synthesizing Post-Training Data for LLMs through Multi-Agent Simulation

📄 arXiv: 2410.14251v2 📥 PDF

作者: Shuo Tang, Xianghe Pang, Zexi Liu, Bohan Tang, Rui Ye, Tian Jin, Xiaowen Dong, Yanfeng Wang, Siheng Chen

分类: cs.AI, cs.CL

发布日期: 2024-10-18 (更新: 2025-02-20)

💡 一句话要点

提出MATRIX框架，通过多智能体模拟合成后训练数据，提升LLM指令遵循能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 后训练 多智能体模拟 数据合成 指令遵循

📋 核心要点

  1. 高质量指令数据难以获取，限制了LLM后训练效果，存在隐私、稀缺和标注成本高等问题。
  2. 提出MATRIX框架，利用多智能体模拟生成多样化场景，并使用场景驱动的指令生成器合成数据。
  3. 实验表明，仅用20K合成数据后训练的Llama-3-8B-Base，性能超越了用10M数据训练的Llama-3-8B-Instruct。

📝 摘要（中文）

后训练对于使大型语言模型（LLM）能够遵循人类指令至关重要。然而，其有效性取决于高质量的指令数据，由于隐私问题、数据稀缺和高昂的标注成本，在现实世界中获取这些数据具有挑战性。为了填补这一空白，受到使用LLM模拟人类社会这一最新成功的启发，我们提出了MATRIX，一个多智能体模拟器，可以自动生成多样化的基于文本的场景，以现实且可扩展的方式捕捉广泛的现实世界人类需求。利用这些输出，我们引入了一种新颖的场景驱动的指令生成器MATRIX-Gen，用于可控且高度真实的数据合成。大量实验表明，我们的框架有效地生成了通用和特定领域的数据。在AlpacaEval 2和Arena-Hard基准测试中，Llama-3-8B-Base在由MATRIX-Gen合成的仅20K指令-响应对的数据集上进行后训练后，优于Meta的Llama-3-8B-Instruct模型，该模型在超过10M对的数据上进行了训练。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）后训练中高质量指令数据匮乏的问题。现有方法依赖于人工标注或从现实世界收集数据，面临隐私泄露风险、数据获取成本高昂以及数据多样性不足等挑战。这些问题限制了LLM在遵循人类指令方面的能力。

核心思路：论文的核心思路是利用多智能体模拟技术，构建一个虚拟的文本世界，让智能体在其中交互，从而自动生成多样化的、贴近现实的场景数据。然后，利用这些场景数据，通过场景驱动的指令生成器，合成高质量的指令-响应对，用于LLM的后训练。这种方法可以有效降低数据获取成本，提高数据多样性，并避免隐私问题。

技术框架：MATRIX框架包含两个主要模块：多智能体模拟器（MATRIX）和场景驱动的指令生成器（MATRIX-Gen）。首先，MATRIX模拟器创建一个包含多个智能体的虚拟环境，每个智能体具有不同的角色、目标和行为模式。智能体之间通过文本进行交互，生成各种场景。然后，MATRIX-Gen利用这些场景数据，自动生成指令-响应对。具体来说，它会根据场景内容，生成相应的指令，并让LLM根据指令生成响应，从而构建训练数据集。

关键创新：论文的关键创新在于将多智能体模拟技术应用于LLM后训练数据的合成。与传统的数据生成方法相比，MATRIX框架能够自动生成多样化的、贴近现实的场景数据，从而提高LLM的指令遵循能力。此外，场景驱动的指令生成方法能够更好地利用场景信息，生成更具针对性的指令-响应对。

关键设计：在多智能体模拟器中，论文设计了不同的智能体角色，并赋予它们不同的目标和行为模式。智能体之间的交互基于文本进行，并通过预定义的规则进行约束。在场景驱动的指令生成器中，论文使用了LLM作为响应生成器，并设计了相应的提示工程，以确保生成的响应质量。此外，论文还探索了不同的数据合成策略，例如，根据场景的复杂程度和智能体的交互频率，调整数据生成量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用MATRIX-Gen合成的20K数据后训练的Llama-3-8B-Base模型，在AlpacaEval 2和Arena-Hard基准测试中，性能超越了使用超过10M数据训练的Meta Llama-3-8B-Instruct模型。这表明该方法能够显著提高LLM的指令遵循能力，并降低对大规模人工标注数据的依赖。

🎯 应用场景

该研究成果可广泛应用于各种需要高质量指令数据的LLM后训练场景，例如智能客服、虚拟助手、教育辅导等。通过自动生成训练数据，可以降低LLM的开发成本，并提高其在特定领域的应用效果。未来，该方法还可以扩展到其他模态的数据生成，例如图像、视频等。

📄 摘要（原文）

Post-training is essential for enabling large language models (LLMs) to follow human instructions. However, its effectiveness depends on high-quality instruction data, which is challenging to obtain in the real world due to privacy concerns, data scarcity, and high annotation costs. To fill this gap, inspired by the recent success of using LLMs to simulate human society, we propose MATRIX, a multi-agent simulator that automatically generates diverse text-based scenarios, capturing a wide range of real-world human needs in a realistic and scalable manner. Leveraging these outputs, we introduce a novel scenario-driven instruction generator MATRIX-Gen for controllable and highly realistic data synthesis. Extensive experiments demonstrate that our framework effectively generates both general and domain-specific data. On AlpacaEval 2 and Arena-Hard benchmarks, Llama-3-8B-Base, post-trained on datasets synthesized by MATRIX-Gen with just 20K instruction-response pairs, outperforms Meta's Llama-3-8B-Instruct model, which was trained on over 10M pairs.