TarGEN: Targeted Data Generation with Large Language Models

📄 arXiv: 2310.17876v3 📥 PDF

作者: Himanshu Gupta, Kevin Scaria, Ujjwala Anantheswaran, Shreyas Verma, Mihir Parmar, Saurabh Arjun Sawant, Chitta Baral, Swaroop Mishra

分类: cs.CL

发布日期: 2023-10-27 (更新: 2024-08-08)

备注: COLM 2024, 35 pages

💡 一句话要点

提出TarGEN以解决合成数据多样性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据生成 大型语言模型 自我修正 数据多样性 机器学习基准

📋 核心要点

  1. 现有合成数据集常常缺乏多样性和存在噪声，限制了其在实际应用中的有效性。
  2. TarGEN通过无种子特性和自我修正方法，提供了一种高效生成高质量合成数据集的策略。
  3. 实验结果表明，使用TarGEN生成的数据集训练的模型在性能上优于原始数据集，且合成数据集的复杂性和多样性相似或更高。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，数据合成技术引起了广泛关注，旨在生成多样且高质量的合成数据集。然而，这些合成数据集常常缺乏多样性且存在噪声。本文提出了TarGEN，一种多步骤提示策略，利用LLM生成高质量合成数据集。TarGEN的优势在于其无种子特性，不需要特定任务实例，拓宽了其适用范围。我们还通过自我修正方法增强了TarGEN，使LLM能够在数据集创建过程中纠正标注不准确的实例，从而确保标签的可靠性。通过模拟SuperGLUE基准的8个任务并微调多种语言模型，评估结果显示，使用TarGEN生成的数据集训练的模型在原始测试集上的表现比使用原始数据集训练的模型高出约1-2个百分点。结合指令调优后，合成数据的性能进一步提升。

🔬 方法详解

问题定义：本文旨在解决现有合成数据集在多样性和噪声方面的不足，限制了其在多种任务中的应用效果。

核心思路：TarGEN采用多步骤提示策略，利用大型语言模型生成合成数据，并通过自我修正机制提高标签的准确性，确保生成数据的质量。

技术框架：TarGEN的整体架构包括数据生成的多个阶段，首先通过提示生成初步数据，然后应用自我修正方法对生成的数据进行校正，最后形成高质量的合成数据集。

关键创新：TarGEN的无种子特性是其重要创新，使其不依赖于特定任务实例，拓宽了应用范围。此外，自我修正机制提高了数据标注的准确性，解决了传统方法中的标注噪声问题。

关键设计：在模型微调过程中，采用了多种语言模型（如编码器、编码器-解码器和解码器模型），并通过对比实验评估合成数据集与原始数据集的性能差异，确保了实验设计的严谨性。通过指令调优进一步提升了模型在合成数据上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用TarGEN生成的数据集训练的Flan-T5模型在原始测试集上的准确率为82.84%，比使用原始数据集的81.12%高出1.72个百分点。结合指令调优后，合成数据的性能进一步提升至84.54%，显示出显著的性能优势。

🎯 应用场景

TarGEN的研究成果在多个领域具有潜在应用价值，包括自然语言处理、机器学习基准测试和数据增强等。通过生成高质量的合成数据集，研究人员和开发者可以减少人工数据标注的工作量，提高模型训练的效率和效果。未来，TarGEN有望推动更复杂的基准测试的创建，促进AI模型的进一步发展。

📄 摘要（原文）

The rapid advancement of large language models (LLMs) has sparked interest in data synthesis techniques, aiming to generate diverse and high-quality synthetic datasets. However, these synthetic datasets often suffer from a lack of diversity and added noise. In this paper, we present TarGEN, a multi-step prompting strategy for generating high-quality synthetic datasets utilizing a LLM. An advantage of TarGEN is its seedless nature; it does not require specific task instances, broadening its applicability beyond task replication. We augment TarGEN with a method known as self-correction empowering LLMs to rectify inaccurately labeled instances during dataset creation, ensuring reliable labels. To assess our technique's effectiveness, we emulate 8 tasks from the SuperGLUE benchmark and finetune various language models, including encoder-only, encoder-decoder, and decoder-only models on both synthetic and original training sets. Evaluation on the original test set reveals that models trained on datasets generated by TarGEN perform approximately 1-2% points better than those trained on original datasets (82.84% via syn. vs. 81.12% on og. using Flan-T5). When incorporating instruction tuning, the performance increases to 84.54% on synthetic data vs. 81.49% on original data by Flan-T5. A comprehensive analysis of the synthetic dataset compared to the original dataset reveals that the synthetic dataset demonstrates similar or higher levels of dataset complexity and diversity. Furthermore, the synthetic dataset displays a bias level that aligns closely with the original dataset. Finally, when pre-finetuned on our synthetic SuperGLUE dataset, T5-3B yields impressive results on the OpenLLM leaderboard, surpassing the model trained on the Self-Instruct dataset by 4.14% points. We hope that TarGEN can be helpful for quality data generation and reducing the human efforts to create complex benchmarks.