Cyborg Data: Merging Human with AI Generated Training Data

📄 arXiv: 2503.22736v1 📥 PDF

作者: Kai North, Christopher Ormerod

分类: cs.LG, cs.AI

发布日期: 2025-03-26

💡 一句话要点

提出Cyborg Data：融合人工与AI生成数据，提升自动评分系统效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动评分 大型语言模型 模型蒸馏 数据增强 半监督学习

📋 核心要点

  1. 传统自动评分系统依赖大量人工标注数据，成本高昂且耗时，限制了其在大规模应用中的效率。
  2. 论文提出Cyborg Data，利用大型语言模型作为教师，对未标注数据进行评分，生成混合数据集训练学生模型。
  3. 实验表明，使用Cyborg Data训练的学生模型，仅需10%的人工标注数据，即可达到与全量数据训练相当的性能。

📝 摘要（中文）

大规模评估中使用的自动评分(AS)系统传统上依赖于小型统计模型，这些模型需要大量人工评分数据才能做出准确预测，这既耗时又昂贵。生成式大型语言模型经过多项任务的训练，展现出在少量甚至没有数据的情况下泛化到新任务的强大能力。虽然这些模型在进行预测时需要更多的计算能力，但仍然需要进行一些微调才能满足运营标准。有证据表明，即使在少量数据上进行微调，这些模型也可以超过人与人之间的协议水平。鉴于此，我们提出了一种模型蒸馏流程，其中大型生成模型（教师）指导一个更小的模型（学生）。教师模型在训练数据的一个小子集上进行训练，用于为剩余的训练数据提供分数，然后用于训练学生模型。我们将生成的数据集称为“Cyborg Data”，因为它结合了人工和机器评分的响应。我们的研究结果表明，在“Cyborg Data”上训练的学生模型表现与在整个数据集上训练的模型相当，同时只需要原始人工评分数据的10%。

🔬 方法详解

问题定义：论文旨在解决大规模评估中自动评分系统对大量人工标注数据的依赖问题。现有方法，即传统统计模型，需要大量人工评分数据才能保证准确性，导致成本高昂且耗时。这限制了自动评分系统在实际应用中的可扩展性和效率。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的泛化能力，通过模型蒸馏的方式，将LLM的知识迁移到小型模型上。具体而言，LLM作为教师模型，对未标注的数据进行自动评分，生成一种混合了人工标注和机器标注的数据集，即Cyborg Data。然后，使用Cyborg Data训练小型学生模型，从而在减少人工标注数据需求的同时，保持评分性能。

技术框架：该方法采用模型蒸馏的框架，包含以下主要阶段： 1. 教师模型训练：使用少量人工标注数据训练大型语言模型（教师模型）。 2. Cyborg Data生成：教师模型对剩余的未标注数据进行自动评分，将机器评分与少量人工评分结合，生成Cyborg Data。 3. 学生模型训练：使用Cyborg Data训练小型学生模型。 4. 模型评估：评估学生模型在测试集上的评分性能。

关键创新：该方法最重要的技术创新点在于Cyborg Data的生成。它巧妙地结合了人工标注的准确性和LLM自动评分的效率，从而在减少人工标注数据需求的同时，保持了评分性能。与传统的完全依赖人工标注或完全依赖机器自动评分的方法相比，Cyborg Data提供了一种更有效、更经济的解决方案。

关键设计：论文的关键设计包括： 1. 教师模型选择：选择具有强大泛化能力的大型语言模型作为教师模型。 2. 数据划分：合理划分人工标注数据和未标注数据，确保教师模型能够充分学习人工标注数据的知识。 3. 评分策略：设计合适的评分策略，例如使用教师模型的预测概率作为评分置信度，从而筛选高质量的机器评分数据。 4. 学生模型选择：选择适合部署的小型模型作为学生模型，例如轻量级的神经网络。

📊 实验亮点

实验结果表明，使用Cyborg Data训练的学生模型，仅需10%的原始人工标注数据，即可达到与使用100%人工标注数据训练的模型相当的性能。这表明Cyborg Data能够显著减少人工标注成本，同时保持评分准确性。该方法在特定数据集上取得了与全量数据训练模型相媲美的效果，验证了其有效性。

🎯 应用场景

该研究成果可广泛应用于教育评估、论文评分、代码评审等领域，降低人工成本，提高评分效率。通过减少对大量人工标注数据的依赖，该方法使得自动评分系统更容易部署到资源有限的场景中，并加速个性化学习和反馈系统的发展。未来，该技术还可扩展到其他需要大量标注数据的任务中，例如图像标注、文本分类等。

📄 摘要（原文）

Automated scoring (AS) systems used in large-scale assessment have traditionally used small statistical models that require a large quantity of hand-scored data to make accurate predictions, which can be time-consuming and costly. Generative Large Language Models are trained on many tasks and have shown impressive abilities to generalize to new tasks with little to no data. While these models require substantially more computational power to make predictions, they still require some fine-tuning to meet operational standards. Evidence suggests that these models can exceed human-human levels of agreement even when fine-tuned on small amounts of data. With this in mind, we propose a model distillation pipeline in which a large generative model, a Teacher, teaches a much smaller model, a Student. The Teacher, trained on a small subset of the training data, is used to provide scores on the remaining training data, which is then used to train the Student. We call the resulting dataset "Cyborg Data", as it combines human and machine-scored responses. Our findings show that Student models trained on "Cyborg Data" show performance comparable to training on the entire dataset, while only requiring 10% of the original hand-scored data.