FASTGEN: Fast and Cost-Effective Synthetic Tabular Data Generation with LLMs

📄 arXiv: 2507.15839v1 📥 PDF

作者: Anh Nguyen, Sam Schafft, Nicholas Hale, John Alfaro

分类: cs.LG, cs.AI

发布日期: 2025-07-21

💡 一句话要点

FASTGEN：利用LLM快速且经济高效地生成合成表格数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据生成 大型语言模型 表格数据 数据分布学习 采样脚本

📋 核心要点

  1. 现有方法直接使用LLM逐条生成数据，面临时间和成本上的巨大挑战，尤其是在需要大规模合成数据时。
  2. FASTGEN利用LLM学习并编码每个字段的数据分布，生成可复用的采样脚本，避免了持续的模型推理，从而降低成本。
  3. 实验表明，FASTGEN在数据多样性和真实性方面优于传统方法，显著降低了大规模合成数据生成的负担。

📝 摘要（中文）

合成数据生成已成为现实世界数据收集和使用因成本和稀缺性而受限情况下的宝贵解决方案。大型语言模型（LLM）已展示出在各个领域生成高保真、领域相关样本的卓越能力。然而，现有直接使用LLM单独生成每个记录的方法带来了巨大的时间和成本负担，尤其是在需要大量合成数据时。本文提出了一种快速、经济高效的现实表格数据合成方法，该方法利用LLM推断并将每个字段的分布编码到可重用的采样脚本中。通过自动将字段分类为数值型、类别型或自由文本型，LLM生成基于分布的脚本，可以高效地大规模生成多样化、真实的数据集，而无需持续的模型推理。实验结果表明，我们的方法在多样性和数据真实性方面均优于传统的直接方法，大大减轻了大量合成数据生成的负担。我们计划将此方法应用于加速生产流水线中的测试，从而缩短开发周期并提高整体系统效率。我们相信我们的见解和经验教训将有助于研究人员和从业人员寻求可扩展、经济高效的合成数据生成解决方案。

🔬 方法详解

问题定义：论文旨在解决大规模合成表格数据生成中，直接使用大型语言模型（LLM）进行逐条生成所带来的高昂时间和计算成本问题。现有方法的痛点在于，每次生成新的数据记录都需要进行一次LLM推理，这在大规模数据生成场景下是不可接受的。

核心思路：论文的核心思路是利用LLM学习真实数据的分布特征，并将这些分布特征编码成可重用的采样脚本。这样，在生成合成数据时，不再需要每次都调用LLM进行推理，而是直接使用采样脚本进行快速生成，从而显著降低时间和计算成本。

技术框架：FASTGEN的整体框架包含以下几个主要阶段：1) 数据类型推断：利用LLM自动识别表格数据中每个字段的数据类型（数值型、类别型、自由文本型等）；2) 分布学习：针对不同类型的数据，利用LLM学习其对应的分布特征；3) 脚本生成：将学习到的分布特征编码成可执行的采样脚本；4) 数据生成：使用生成的采样脚本高效地生成大规模合成数据。

关键创新：该方法最重要的创新点在于将LLM从直接的数据生成器转变为分布学习器和脚本生成器。通过学习数据的潜在分布，并将其编码成可重用的脚本，避免了重复的LLM推理，从而实现了快速且经济高效的合成数据生成。与现有方法相比，FASTGEN的本质区别在于其生成过程的解耦，将LLM的使用限制在分布学习阶段，而非数据生成阶段。

关键设计：论文的关键设计包括：1) 使用LLM进行数据类型推断的prompt设计；2) 针对不同数据类型选择合适的分布模型（例如，高斯分布用于数值型数据，多项式分布用于类别型数据）；3) 采样脚本的生成策略，需要保证脚本的效率和生成数据的真实性；4) 如何评估生成数据的质量，包括多样性和真实性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FASTGEN在生成合成表格数据时，在数据多样性和真实性方面均优于传统的直接方法。该方法显著降低了大规模合成数据生成的成本，使得在资源受限的环境下也能高效地生成高质量的合成数据。具体的性能数据和对比基线在论文中进行了详细的展示。

🎯 应用场景

该研究成果可广泛应用于需要大量合成表格数据的场景，例如：软件测试、模型训练、数据增强、隐私保护等。通过快速且经济高效地生成高质量的合成数据，可以加速软件开发周期，提升模型性能，并解决数据稀缺和隐私敏感等问题。未来，该方法有望应用于更复杂的数据类型和领域，例如：图像、文本、视频等。

📄 摘要（原文）

Synthetic data generation has emerged as an invaluable solution in scenarios where real-world data collection and usage are limited by cost and scarcity. Large language models (LLMs) have demonstrated remarkable capabilities in producing high-fidelity, domain-relevant samples across various fields. However, existing approaches that directly use LLMs to generate each record individually impose prohibitive time and cost burdens, particularly when large volumes of synthetic data are required. In this work, we propose a fast, cost-effective method for realistic tabular data synthesis that leverages LLMs to infer and encode each field's distribution into a reusable sampling script. By automatically classifying fields into numerical, categorical, or free-text types, the LLM generates distribution-based scripts that can efficiently produce diverse, realistic datasets at scale without continuous model inference. Experimental results show that our approach outperforms traditional direct methods in both diversity and data realism, substantially reducing the burden of high-volume synthetic data generation. We plan to apply this methodology to accelerate testing in production pipelines, thereby shortening development cycles and improving overall system efficiency. We believe our insights and lessons learned will aid researchers and practitioners seeking scalable, cost-effective solutions for synthetic data generation.