SEED: Domain-Specific Data Curation With Large Language Models

📄 arXiv: 2310.00749v3 📥 PDF

作者: Zui Chen, Lei Cao, Sam Madden, Tim Kraska, Zeyuan Shang, Ju Fan, Nan Tang, Zihui Gu, Chunwei Liu, Michael Cafarella

分类: cs.DB, cs.LG

发布日期: 2023-10-01 (更新: 2024-04-24)

备注: preprint, 20 pages, 4 figures

💡 一句话要点

提出SEED以解决领域特定数据整理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据整理 大型语言模型 自动化 领域特定 混合管道 优化器 机器学习

📋 核心要点

  1. 现有的数据整理工具通常无法满足不同领域的特定需求，导致数据科学家需耗费大量时间开发定制解决方案。
  2. SEED通过将大型语言模型与其他成本效益高的技术相结合，自动生成领域特定的数据整理解决方案，简化了数据处理流程。
  3. 在9个数据集的实验中，SEED在少量样本学习上表现出色，且显著减少了对大型语言模型的调用次数，提升了效率。

📝 摘要（中文）

数据整理任务对于将数据转化为可操作的洞察至关重要。然而，由于不同领域应用的多样化需求，通用工具往往不足以满足要求。因此，数据科学家通常需要开发针对特定领域的解决方案，这一过程既困难又耗时。本文提出了SEED，一种基于大型语言模型（LLM）的编译器方法，能够自动生成领域特定的数据整理解决方案。用户只需描述任务、输入数据和期望输出，SEED编译器便会生成一个混合管道，结合LLM查询与更具成本效益的替代方案，如基于向量的缓存、LLM生成的代码以及在LLM注释数据上训练的小模型。SEED还具备优化器，能够自动选择四个LLM辅助模块，形成最适合当前任务的混合执行管道。实验结果表明，SEED在9个数据集上进行的5项数据整理任务中，表现出与使用LLM处理每条数据记录的解决方案相当或更优的少量样本性能，同时显著减少了LLM调用次数。

🔬 方法详解

问题定义：本文解决的是数据整理任务中，现有通用工具无法满足领域特定需求的问题。数据科学家需要花费大量时间和精力来开发定制化的解决方案，导致效率低下。

核心思路：SEED的核心思路是利用大型语言模型（LLM）作为编译器，自动生成适应特定领域的数据整理解决方案。用户只需提供任务描述、输入数据和期望输出，SEED便能生成相应的混合管道。

技术框架：SEED的整体架构包括多个模块：首先是用户输入的任务描述和数据，然后是LLM查询模块，接着是基于向量的缓存和LLM生成代码的模块，最后是小模型训练模块。优化器会根据任务需求选择最优的模块组合，形成混合执行管道。

关键创新：SEED的主要创新在于其将LLM与其他技术结合，形成混合管道，从而在减少LLM调用次数的同时，依然保持高效的性能。这一方法与传统的逐条数据处理方式有本质区别。

关键设计：在设计上，SEED优化器能够根据任务特性自动选择模块，此外，模型训练过程中使用了LLM注释的数据，以提高小模型的性能。

📊 实验亮点

在实验中，SEED在9个数据集上进行了5项数据整理任务，展示了与传统方法相比的显著优势。具体而言，SEED在少量样本学习上达到了最先进的性能，同时减少了对大型语言模型的调用次数，提升了整体处理效率。

🎯 应用场景

SEED的研究成果在多个领域具有广泛的应用潜力，尤其是在需要快速处理和分析大量数据的行业，如金融、医疗和市场研究等。通过自动化数据整理过程，SEED能够显著提高数据科学家的工作效率，降低人力成本，并为决策提供更及时的支持。未来，SEED的技术可以扩展到更多复杂的数据处理任务中，进一步推动数据驱动决策的发展。

📄 摘要（原文）

Data curation tasks that prepare data for analytics are critical for turning data into actionable insights. However, due to the diverse requirements of applications in different domains, generic off-the-shelf tools are typically insufficient. As a result, data scientists often have to develop domain-specific solutions tailored to both the dataset and the task, e.g. writing domain-specific code or training machine learning models on a sufficient number of annotated examples. This process is notoriously difficult and time-consuming. We present SEED, an LLM-as-compiler approach that automatically generates domain-specific data curation solutions via Large Language Models (LLMs). Once the user describes a task, input data, and expected output, the SEED compiler produces a hybrid pipeline that combines LLM querying with more cost-effective alternatives, such as vector-based caching, LLM-generated code, and small models trained on LLM-annotated data. SEED features an optimizer that automatically selects from the four LLM-assisted modules and forms a hybrid execution pipeline that best fits the task at hand. To validate this new, revolutionary approach, we conducted experiments on $9$ datasets spanning over $5$ data curation tasks. In comparison to solutions that use the LLM on every data record, SEED achieves state-of-the-art or comparable few-shot performance, while significantly reducing the number of LLM calls.