LLM-Generated Natural Language Meets Scaling Laws: New Explorations and Data Augmentation Methods

📄 arXiv: 2407.00322v1 📥 PDF

作者: Zhenhua Wang, Guang Xu, Ming Ren

分类: cs.CL

发布日期: 2024-06-29

💡 一句话要点

提出ZGPTDA，利用缩放律指导GPT-4数据增强，提升少样本文本分类性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本学习 文本分类 数据增强 大型语言模型 缩放律 模糊计算 GPT-4

📋 核心要点

  1. 现有基于LLM的数据增强方法缺乏对LLM生成数据与人类语言对齐程度的深入分析，可能引入噪声。
  2. 提出ZGPTDA方法，利用缩放律指导GPT-4生成数据，并使用模糊计算机制选择高质量增强数据。
  3. 实验表明，ZGPTDA在少样本文本分类任务上显著提升了Bert和RoBerta的F1值，并超越了现有方法。

📝 摘要（中文）

随着大型语言模型（LLM）的兴起，自然语言处理领域取得了显著进展，例如基于LLM的数据增强。然而，先前研究存在两个主要问题：首先，缺乏对LLM生成的自然语言（LLMNL）是否真正与人类自然语言（HNL）对齐的思考；其次，忽略了LLM随机生成增强数据，并非所有数据都具有同等训练价值，这可能会阻碍分类器的性能。为了解决这些挑战，我们引入缩放律来内在计算LLMNL和HNL。通过大量实验，我们揭示了LLMNL与曼德勃罗定律的轻微偏差（约0.2曼德勃罗指数），强调了HNL的复杂性优势，并补充了对语言风格的解释性讨论。这为LLM的扩展奠定了坚实的基础。此外，我们为少样本文本分类引入了一种新的数据增强方法，称为ZGPTDA，它利用由符合缩放律驱动的模糊计算机制来决定GPT-4增强数据。在真实场景中进行的大量实验证实了ZGPTDA的有效性（将Bert和RoBerta的F1提高了7-10%）和竞争力（在DeBerta上超过了最近的AugGPT和GENCO方法约2%的准确率）。此外，我们揭示了一些有趣的见解，例如，Hilberg定律和Taylor定律可以为文本分类带来更多好处。

🔬 方法详解

问题定义：论文旨在解决少样本文本分类任务中，利用大型语言模型（LLM）进行数据增强时，如何保证生成数据的质量和有效性的问题。现有方法通常直接使用LLM随机生成数据，缺乏对生成数据与人类自然语言分布差异的考虑，可能引入噪声，降低分类器性能。此外，简单地将所有生成数据用于训练，忽略了不同数据样本的训练价值差异。

核心思路：论文的核心思路是利用缩放律（scaling laws）来分析LLM生成数据与人类自然语言的差异，并基于缩放律指导数据增强过程。通过计算LLM生成数据和人类自然语言在缩放律上的偏差，可以评估生成数据的质量。同时，利用模糊计算机制，根据数据样本与缩放律的符合程度，选择更有价值的样本进行训练。

技术框架：ZGPTDA方法主要包含以下几个阶段：1) 利用GPT-4等LLM生成增强数据；2) 基于缩放律（例如曼德勃罗定律）计算LLM生成数据和人类自然语言的复杂度；3) 使用模糊计算机制，根据数据样本与缩放律的符合程度，为每个样本分配权重；4) 使用加权后的增强数据训练文本分类器。

关键创新：该方法最重要的创新点在于将缩放律引入到LLM数据增强过程中。通过分析LLM生成数据与人类自然语言在缩放律上的差异，可以更有效地评估生成数据的质量，并选择更有价值的样本进行训练。此外，使用模糊计算机制为不同样本分配权重，可以进一步提高数据增强的有效性。

关键设计：关键设计包括：1) 选择合适的缩放律（例如曼德勃罗定律、Hilberg定律、Taylor定律）来描述语言复杂度；2) 设计模糊计算机制，根据数据样本与缩放律的符合程度，确定样本的权重；3) 探索不同的LLM生成策略，例如prompt工程，以生成更高质量的增强数据。

📊 实验亮点

实验结果表明，ZGPTDA方法在少样本文本分类任务上取得了显著的性能提升。具体而言，ZGPTDA将Bert和RoBerta的F1值提高了7-10%，并在DeBerta模型上超越了AugGPT和GENCO等现有方法约2%的准确率。此外，实验还发现，Hilberg定律和Taylor定律可以为文本分类带来更多好处。

🎯 应用场景

该研究成果可应用于各种少样本文本分类场景，例如情感分析、主题分类、意图识别等。通过利用LLM进行数据增强，可以显著提高分类器的性能，尤其是在数据稀缺的情况下。该方法还可以推广到其他自然语言处理任务中，例如机器翻译、文本摘要等，具有广泛的应用前景。

📄 摘要（原文）

With the ascent of large language models (LLM), natural language processing has witnessed enhancements, such as LLM-based data augmentation. Nonetheless, prior research harbors two primary concerns: firstly, a lack of contemplation regarding whether the natural language generated by LLM (LLMNL) truly aligns with human natural language (HNL), a critical foundational question; secondly, an oversight that augmented data is randomly generated by LLM, implying that not all data may possess equal training value, that could impede the performance of classifiers. To address these challenges, we introduce the scaling laws to intrinsically calculate LLMNL and HNL. Through extensive experiments, we reveal slight deviations (approximately 0.2 Mandelbrot exponent) from Mandelbrot's law in LLMNL, underscore a complexity advantage in HNL, and supplement an interpretive discussion on language style. This establishes a solid foundation for LLM's expansion. Further, we introduce a novel data augmentation method for few-shot text classification, termed ZGPTDA, which leverages fuzzy computing mechanisms driven by the conformity to scaling laws to make decisions about GPT-4 augmented data. Extensive experiments, conducted in real-world scenarios, confirms the effectiveness (improving F1 of Bert and RoBerta by 7-10%) and competitiveness (surpassing recent AugGPT and GENCO methods by about 2% accuracy on DeBerta) of ZGPTDA. In addition, we reveal some interesting insights, e.g., Hilberg's law and Taylor's law can impart more benefits to text classification, etc.