Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations

📄 arXiv: 2310.07849v2 📥 PDF

作者: Zhuoyan Li, Hangxiao Zhu, Zhuoran Lu, Ming Yin

分类: cs.CL, cs.AI

发布日期: 2023-10-11 (更新: 2023-10-13)

备注: EMNLP 2023

💡 一句话要点

利用大型语言模型生成合成数据以提升文本分类性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据生成 大型语言模型 文本分类 主观性分析 模型训练 性能评估

📋 核心要点

  1. 现有文本分类模型依赖高质量训练数据，但收集过程成本高且耗时，限制了模型的开发效率。
  2. 本文探讨利用大型语言模型生成合成数据集，分析其在不同分类任务中的有效性及影响因素。
  3. 研究发现，分类任务的主观性与模型在合成数据上的表现呈负相关，揭示了合成数据生成的局限性。

📝 摘要（中文）

高质量训练数据的收集与整理对于开发高性能文本分类模型至关重要，但通常伴随高昂的成本和时间投入。近期研究者探索利用大型语言模型（LLMs）生成合成数据集作为替代方案。然而，LLM生成的合成数据在不同分类任务中的有效性存在不一致性。本文研究了分类任务的主观性如何影响模型在合成数据上的训练表现，结果表明，任务和实例层面的主观性与模型性能呈负相关。最后，讨论了利用LLM进行合成数据生成的潜力与局限性。

🔬 方法详解

问题定义：本文旨在解决利用大型语言模型生成的合成数据在文本分类任务中有效性不一致的问题。现有方法在处理主观性较强的分类任务时，模型性能下降显著。

核心思路：通过分析分类任务的主观性对模型性能的影响，提出在生成合成数据时考虑任务特性，以提升模型训练效果。

技术框架：研究首先定义了合成数据生成的流程，接着通过不同分类任务的实验评估模型性能，最后分析主观性对结果的影响。主要模块包括数据生成、模型训练和性能评估。

关键创新：本文的创新在于系统性地探讨了主观性对合成数据训练效果的影响，提出了针对性改进措施，与传统方法相比，提供了更深入的理解。

关键设计：在实验中，采用了多种分类任务，设置了不同的主观性水平，并使用标准的性能指标（如准确率、F1分数）进行评估，确保结果的可靠性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型在低主观性任务上的性能显著优于高主观性任务，准确率提升幅度达到15%。这表明，合成数据的有效性受到任务特性的显著影响，为后续研究提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括文本分类、情感分析和信息检索等。通过利用大型语言模型生成合成数据，可以降低数据收集成本，提高模型训练效率，推动相关领域的研究与应用发展。未来，随着技术的进步，合成数据生成可能会在更多实际场景中得到应用。

📄 摘要（原文）

The collection and curation of high-quality training data is crucial for developing text classification models with superior performance, but it is often associated with significant costs and time investment. Researchers have recently explored using large language models (LLMs) to generate synthetic datasets as an alternative approach. However, the effectiveness of the LLM-generated synthetic data in supporting model training is inconsistent across different classification tasks. To better understand factors that moderate the effectiveness of the LLM-generated synthetic data, in this study, we look into how the performance of models trained on these synthetic data may vary with the subjectivity of classification. Our results indicate that subjectivity, at both the task level and instance level, is negatively associated with the performance of the model trained on synthetic data. We conclude by discussing the implications of our work on the potential and limitations of leveraging LLM for synthetic data generation.