PromptMix: A Class Boundary Augmentation Method for Large Language Model Distillation

📄 arXiv: 2310.14192v1 📥 PDF

作者: Gaurav Sahu, Olga Vechtomova, Dzmitry Bahdanau, Issam H. Laradji

分类: cs.CL, cs.AI

发布日期: 2023-10-22

备注: Accepted to EMNLP 2023 (Long paper)

🔗 代码/项目: GITHUB

💡 一句话要点

提出PromptMix以解决文本分类数据不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据增强 文本分类 大型语言模型 知识迁移 标签准确性 机器学习 深度学习

📋 核心要点

  1. 现有的数据增强方法在生成接近类别边界的示例时，容易导致标签错误，影响分类效果。
  2. PromptMix方法通过生成边界示例并使用LLM进行重新标记，旨在提高增强数据的质量和标签的准确性。
  3. 在四个文本分类数据集上，PromptMix在2-shot设置下超越了多种5-shot数据增强方法，显示出显著的性能提升。

📝 摘要（中文）

数据增强是一种广泛应用于文本分类的技术，尤其在训练数据有限的情况下。本文提出了一种新方法PromptMix，通过利用大型语言模型（LLMs）如GPT-3的指令跟随能力和少量示例分类能力，生成更有效的增强数据。该方法包括两个步骤：首先生成接近类别边界的挑战性文本增强；其次使用基于提示的LLM分类器重新标记文本增强，以提高生成数据的标签正确性。实验结果表明，PromptMix在多个数据集上优于传统的增强方法，尤其在2-shot和zero-shot设置下表现突出。

🔬 方法详解

问题定义：本文旨在解决文本分类中数据不足的问题，现有方法在生成接近类别边界的示例时，容易导致错误标签，影响模型性能。

核心思路：PromptMix通过生成边界示例并使用大型语言模型（LLM）进行重新标记，旨在提高增强数据的质量，确保生成数据的标签更加准确。

技术框架：PromptMix方法分为两个主要步骤：第一步是生成接近类别边界的文本增强，第二步是利用LLM对这些增强文本进行重新标记，以提高标签的正确性。

关键创新：最重要的创新在于结合了边界示例生成与LLM重新标记的双重策略，显著提升了数据增强的有效性，与传统方法相比，减少了标签错误的风险。

关键设计：在生成文本增强时，采用了特定的提示设计，以引导LLM生成具有挑战性的示例；在重新标记阶段，使用了基于提示的分类器，确保标签的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PromptMix在四个文本分类数据集上，2-shot设置下的性能超越了多种5-shot数据增强方法，具体提升幅度达到显著的准确率提高，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括文本分类、情感分析和信息检索等。通过提升数据增强的质量，PromptMix可以帮助训练更强大的分类器，尤其是在数据稀缺的情况下，具有重要的实际价值和未来影响。

📄 摘要（原文）

Data augmentation is a widely used technique to address the problem of text classification when there is a limited amount of training data. Recent work often tackles this problem using large language models (LLMs) like GPT3 that can generate new examples given already available ones. In this work, we propose a method to generate more helpful augmented data by utilizing the LLM's abilities to follow instructions and perform few-shot classifications. Our specific PromptMix method consists of two steps: 1) generate challenging text augmentations near class boundaries; however, generating borderline examples increases the risk of false positives in the dataset, so we 2) relabel the text augmentations using a prompting-based LLM classifier to enhance the correctness of labels in the generated data. We evaluate the proposed method in challenging 2-shot and zero-shot settings on four text classification datasets: Banking77, TREC6, Subjectivity (SUBJ), and Twitter Complaints. Our experiments show that generating and, crucially, relabeling borderline examples facilitates the transfer of knowledge of a massive LLM like GPT3.5-turbo into smaller and cheaper classifiers like DistilBERT${base}$ and BERT${base}$. Furthermore, 2-shot PromptMix outperforms multiple 5-shot data augmentation methods on the four datasets. Our code is available at https://github.com/ServiceNow/PromptMix-EMNLP-2023.