Data Generation Using Large Language Models for Text Classification: An Empirical Case Study

📄 arXiv: 2407.12813v2 📥 PDF

作者: Yinheng Li, Rogerio Bonatti, Sara Abdali, Justin Wagle, Kazuhito Koishida

分类: cs.CL, cs.AI

发布日期: 2024-06-27 (更新: 2024-07-19)

备注: Accepted by DMLR @ ICML 2024

💡 一句话要点

利用大型语言模型生成合成数据用于文本分类的实证研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 合成数据 文本分类 自然语言理解 数据生成 提示工程 模型训练

📋 核心要点

  1. 现有文本分类模型依赖大量标注数据，获取成本高昂，限制了其在数据稀缺场景的应用。
  2. 该研究探索利用大型语言模型生成合成数据，以低成本扩充训练集，提升文本分类模型性能。
  3. 通过实证分析，评估不同生成方法对合成数据质量的影响，并为优化数据生成实践提供指导。

📝 摘要（中文）

近年来，使用大型语言模型（LLMs）生成合成数据用于模型训练变得越来越流行。虽然LLMs能够生成逼真的训练数据，但数据生成的有效性受到多种因素的影响，包括提示的选择、任务的复杂性以及生成数据的质量、数量和多样性。本文专注于使用合成数据进行文本分类任务。具体来说，我们使用在合成数据上训练的自然语言理解（NLU）模型来评估来自不同生成方法的合成数据的质量。这项工作对这些因素的影响进行了实证分析，并为更好的数据生成实践提供了建议。

🔬 方法详解

问题定义：论文旨在解决文本分类任务中训练数据不足的问题。现有方法依赖于人工标注数据，成本高、效率低，难以满足大规模应用的需求。此外，数据分布不平衡等问题也会影响模型的泛化能力。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大生成能力，自动生成高质量的合成数据，从而扩充训练数据集，提高文本分类模型的性能。通过控制生成过程中的提示（prompt）和参数，可以影响生成数据的质量、数量和多样性。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 设计合适的提示（prompt），指导LLM生成特定类别的文本数据；2) 使用LLM生成大量的合成数据；3) 使用合成数据训练文本分类模型；4) 在真实数据集上评估模型的性能，并分析不同生成方法对模型性能的影响。研究重点在于分析不同prompt设计和生成策略对最终分类效果的影响。

关键创新：该研究的关键创新在于系统性地评估了不同LLM生成策略对文本分类任务的影响。不同于以往研究中对LLM生成数据的简单应用，该研究深入分析了prompt设计、数据质量、数据多样性等因素对模型性能的影响，并提出了相应的优化建议。

关键设计：研究中涉及的关键设计包括：1) 多种prompt设计策略，例如基于关键词的prompt、基于模板的prompt等；2) 不同的LLM采样策略，例如top-k采样、nucleus采样等；3) 使用NLU模型评估合成数据的质量，例如计算生成数据的困惑度（perplexity）等；4) 评估合成数据与真实数据之间的分布差异，例如使用最大平均差异（MMD）等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过实验验证了使用LLM生成合成数据进行文本分类的有效性。实验结果表明，合适的prompt设计和生成策略可以显著提高合成数据的质量，并提升文本分类模型的性能。研究还发现，合成数据的多样性对模型泛化能力至关重要。具体性能数据未知，但研究强调了优化数据生成实践的重要性。

🎯 应用场景

该研究成果可广泛应用于各种文本分类任务中，尤其是在数据稀缺或标注成本高的领域，如情感分析、垃圾邮件检测、新闻分类等。通过利用LLM生成合成数据，可以有效降低数据获取成本，提高模型性能，并促进相关技术的普及应用。未来，该方法还可以扩展到其他自然语言处理任务中。

📄 摘要（原文）

Using Large Language Models (LLMs) to generate synthetic data for model training has become increasingly popular in recent years. While LLMs are capable of producing realistic training data, the effectiveness of data generation is influenced by various factors, including the choice of prompt, task complexity, and the quality, quantity, and diversity of the generated data. In this work, we focus exclusively on using synthetic data for text classification tasks. Specifically, we use natural language understanding (NLU) models trained on synthetic data to assess the quality of synthetic data from different generation approaches. This work provides an empirical analysis of the impact of these factors and offers recommendations for better data generation practices.