Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models

📄 arXiv: 2310.13671v1 📥 PDF

作者: Ruida Wang, Wangchunshu Zhou, Mrinmaya Sachan

分类: cs.CL, cs.AI

发布日期: 2023-10-20

备注: Accepted by EMNLP 2023(Findings)

💡 一句话要点

提出S3框架以解决数据合成中的分布差异问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据合成 小模型训练 大型语言模型 自然语言处理 迭代学习

📋 核心要点

  1. 现有的数据合成方法常常面临合成数据与真实数据分布之间的显著差异，影响模型性能。
  2. 本文提出的S3框架通过迭代外推小模型的错误，利用大型语言模型逐步改善合成数据的质量。
  3. 实验结果显示，S3框架在多个NLP任务中显著提升了小模型的性能，验证了其有效性。

📝 摘要（中文）

数据合成是一种利用少量标注数据训练小模型的有效方法。本文提出了S3（Synthesis Step by Step）框架，通过迭代地外推小模型在合成数据集上的错误，利用大型语言模型来缩小合成数据集与真实任务数据分布之间的差距。大量实验表明，该方法在多个自然语言处理任务上显著提升了小模型的性能，较ZeroGen提高了9.48%，较GoldGen提高了2.73%，与人类标注数据训练的小模型相比，最高提升幅度达到15.17%。

🔬 方法详解

问题定义：本文旨在解决合成数据集与真实数据分布之间的差异问题。现有方法在合成数据时，往往无法有效捕捉真实任务的数据特征，导致模型性能不佳。

核心思路：S3框架的核心思想是通过迭代地分析小模型在合成数据集上的错误，利用大型语言模型生成更符合真实数据分布的合成样本，从而逐步缩小分布差异。

技术框架：S3框架包括以下几个主要模块：首先，使用小模型在合成数据集上进行训练；其次，评估小模型在小规模真实验证集上的表现；最后，利用大型语言模型生成新的合成样本，以纠正小模型的错误，重复这一过程。

关键创新：S3框架的创新点在于其迭代性和错误外推机制，区别于传统的静态合成方法，通过动态调整合成数据集来逐步提高模型性能。

关键设计：在实现过程中，关键设计包括选择合适的损失函数来评估模型错误，设置合成样本生成的参数，以及优化大型语言模型的使用，以确保生成样本的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，S3框架在多个自然语言处理任务中显著提升了小模型的性能，较ZeroGen提高了9.48%，较GoldGen提高了2.73%，与人类标注数据训练的小模型相比，最高提升幅度达到15.17%，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要大量标注数据的任务。通过有效合成数据，S3框架可以帮助研究人员和工程师在数据稀缺的情况下，提升模型的训练效率和性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Data Synthesis is a promising way to train a small model with very little labeled data. One approach for data synthesis is to leverage the rich knowledge from large language models to synthesize pseudo training examples for small models, making it possible to achieve both data and compute efficiency at the same time. However, a key challenge in data synthesis is that the synthesized dataset often suffers from a large distributional discrepancy from the real task data distribution. Thus, in this paper, we propose Synthesis Step by Step (S3), a data synthesis framework that shrinks this distribution gap by iteratively extrapolating the errors made by a small model trained on the synthesized dataset on a small real-world validation dataset using a large language model. Extensive experiments on multiple NLP tasks show that our approach improves the performance of a small model by reducing the gap between the synthetic dataset and the real data, resulting in significant improvement compared to several baselines: 9.48% improvement compared to ZeroGen and 2.73% compared to GoldGen, and at most 15.17% improvement compared to the small model trained on human-annotated data.