Using GPT-4 to Augment Unbalanced Data for Automatic Scoring

📄 arXiv: 2310.18365v3 📥 PDF

作者: Luyang Fang, Gyeong-Geon Lee, Xiaoming Zhai

分类: cs.CL, cs.AI, cs.CY

发布日期: 2023-10-25 (更新: 2024-09-06)

💡 一句话要点

提出基于GPT-4的数据增强框架以解决自动评分中的数据不平衡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动评分 数据增强 GPT-4 机器学习 不平衡数据 DistillBERT 教育评估

📋 核心要点

  1. 自动评分系统面临学生响应在评分类别中不平衡的问题，现有方法难以有效处理此类数据。
  2. 本文提出了一种利用GPT-4进行文本数据增强的框架，专门针对自动评分中的不平衡数据集进行优化。
  3. 实验结果表明，GPT-4增强的数据显著提高了模型的精确率和F1分数，尤其在20%-40%的增强数据比例下表现最佳。

📝 摘要（中文）

基于机器学习的自动评分在评分类别中面临学生响应不平衡的挑战。为此，本文提出了一种新颖的文本数据增强框架，利用生成性大语言模型GPT-4，专门针对自动评分中的不平衡数据集。实验数据集由学生对四个科学项目的书面响应组成。我们为GPT-4设计了生成响应的提示，特别针对少数评分类别，从而增强数据集。随后，我们基于增强和原始数据集对DistillBERT进行了微调。模型性能通过准确率、精确率、召回率和F1指标进行评估。研究发现，结合GPT-4增强的数据显著提高了模型性能，尤其是在精确率和F1分数方面。值得注意的是，增强数据的比例（20%-40%）对自动评分的稳定提升至关重要。与训练于额外学生书面响应的模型比较，GPT-4增强模型的表现与之相当。这项研究强调了利用生成性大语言模型进行数据增强技术在自动评估中解决不平衡数据集的潜力和有效性。

🔬 方法详解

问题定义：本文旨在解决自动评分系统中学生响应数据的不平衡问题。现有方法在处理少数类样本时表现不佳，导致评分准确性降低。

核心思路：通过利用GPT-4生成针对少数评分类别的文本响应，增强数据集，从而提高模型的学习效果和评分准确性。

技术框架：整体流程包括数据收集、GPT-4生成增强数据、对DistillBERT进行微调以及性能评估。主要模块包括数据增强模块和模型训练模块。

关键创新：本研究的创新点在于首次将GPT-4应用于自动评分中的数据增强，显著改善了模型在不平衡数据集上的表现，与传统方法相比，提供了更高的精确率和F1分数。

关键设计：在参数设置上，增强数据的比例被设定为20%-40%以确保模型性能的稳定提升。损失函数采用标准的交叉熵损失，网络结构基于DistillBERT进行微调，以适应增强后的数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，结合GPT-4增强的数据显著提高了模型的精确率和F1分数，尤其在使用20%-40%增强数据时，模型性能得到了稳定的提升。与训练于额外学生书面响应的模型相比，GPT-4增强模型的表现相当，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括教育评估、在线学习平台和自动化测试系统。通过有效处理不平衡数据，能够提高自动评分系统的准确性和公平性，进而提升教育评估的质量和效率。未来，类似的方法可以扩展到其他领域的文本生成和分类任务中。

📄 摘要（原文）

Machine learning-based automatic scoring faces challenges with unbalanced student responses across scoring categories. To address this, we introduce a novel text data augmentation framework leveraging GPT-4, a generative large language model, specifically tailored for unbalanced datasets in automatic scoring. Our experimental dataset comprised student written responses to four science items. We crafted prompts for GPT-4 to generate responses, especially for minority scoring classes, enhancing the data set. We then finetuned DistillBERT for automatic scoring based on the augmented and original datasets. Model performance was assessed using accuracy, precision, recall, and F1 metrics. Our findings revealed that incorporating GPT-4-augmented data remarkedly improved model performance, particularly for precision and F1 scores. Interestingly, the extent of improvement varied depending on the specific dataset and the proportion of augmented data used. Notably, we found that a varying amount of augmented data (20%-40%) was needed to obtain stable improvement for automatic scoring. Comparisons with models trained on additional student-written responses suggest that GPT-4 augmented models match those trained with student data. This research underscores the potential and effectiveness of data augmentation techniques utilizing generative large language models like GPT-4 in addressing unbalanced datasets within automated assessment.