Assessing Generative Models for Structured Data

📄 arXiv: 2503.20903v1 📥 PDF

作者: Reilly Cannon, Nicolette M. Laird, Caesar Vazquez, Andy Lin, Amy Wagler, Tony Chiang

分类: cs.LG, cs.AI

发布日期: 2025-03-26

💡 一句话要点

提出评估框架，揭示LLM生成表格数据在列间依赖关系上的不足。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据生成 表格数据 列间依赖关系 大型语言模型 生成对抗网络

📋 核心要点

  1. 现有train-synthetic-test-real方法无法直接衡量生成数据分布与原始数据分布的近似程度，存在局限性。
  2. 论文提出一种新方法，通过考察数据中的列间依赖关系，直接评估合成表格数据与真实数据的匹配程度。
  3. 实验表明，GPT-2和CTGAN等模型生成的表格数据在列间依赖关系上与真实数据存在显著差异。

📝 摘要（中文）

合成表格数据生成已成为解决数据稀缺和隐私问题的一种有前景的方法。近年来，大型语言模型性能的显著提升激发了研究人员将其应用于表格数据生成。然而，人们对大型语言模型生成的表格数据的质量知之甚少。目前评估合成表格数据质量的主要方法是train-synthetic-test-real，即通过比较机器学习模型在真实数据集和合成数据集上训练后的下游任务表现来评估合成数据的质量。但这种方法不能直接衡量生成数据分布与原始数据分布的近似程度。本文提出了一种严格的方法，通过考察数据中的列间依赖关系，直接评估合成表格数据与真实数据的匹配程度。研究发现，无论是通过少量样本提示还是微调，大型语言模型（GPT-2）和GAN模型（CTGAN）都无法生成具有与原始真实数据一致依赖关系的数据。这项研究的结果可以为未来的合成数据生成实践提供参考，以提高数据质量。

🔬 方法详解

问题定义：论文旨在解决如何更准确地评估大型语言模型（LLM）和生成对抗网络（GAN）生成的合成表格数据的质量问题。现有方法，如train-synthetic-test-real，主要关注下游任务的性能，无法直接衡量生成数据分布与原始数据分布的相似度，忽略了数据内部的结构信息，特别是列间依赖关系。

核心思路：论文的核心思路是通过直接分析合成数据和真实数据在列间依赖关系上的差异来评估合成数据的质量。这种方法避免了依赖下游任务的间接评估，能够更直接地反映生成模型对原始数据分布的捕捉能力。通过量化列间依赖关系，可以更细粒度地比较不同生成模型的性能。

技术框架：论文提出的评估框架主要包含以下几个阶段：1）数据准备：收集真实表格数据和由不同生成模型（如GPT-2和CTGAN）生成的合成数据。2）依赖关系分析：使用统计方法（具体方法未知）分析真实数据和合成数据中各列之间的依赖关系。3）差异性度量：设计合适的指标来量化真实数据和合成数据在列间依赖关系上的差异。4）结果分析：比较不同生成模型生成的合成数据与真实数据在依赖关系上的差异，评估生成模型的性能。

关键创新：论文的关键创新在于提出了直接评估合成表格数据列间依赖关系的方法。与传统的train-synthetic-test-real方法相比，该方法能够更直接、更细粒度地评估生成模型对原始数据分布的捕捉能力，避免了下游任务带来的偏差。

关键设计：论文中关于依赖关系分析的具体统计方法、差异性度量的指标以及GPT-2模型的prompting方式和微调细节未知。CTGAN模型的具体参数设置也未知。这些技术细节对于复现和进一步研究至关重要。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，无论是通过少量样本提示还是微调，大型语言模型（GPT-2）和GAN模型（CTGAN）都无法生成具有与原始真实数据一致依赖关系的数据。这表明现有生成模型在捕捉表格数据复杂结构方面存在不足，为未来的模型改进提供了方向。

🎯 应用场景

该研究成果可应用于合成数据生成模型的选择和优化，尤其是在需要高度还原原始数据列间依赖关系的场景，如金融风控、医疗诊断等。通过更准确地评估合成数据的质量，可以提高基于合成数据训练的模型的泛化能力和可靠性，从而促进数据共享和隐私保护。

📄 摘要（原文）

Synthetic tabular data generation has emerged as a promising method to address limited data availability and privacy concerns. With the sharp increase in the performance of large language models in recent years, researchers have been interested in applying these models to the generation of tabular data. However, little is known about the quality of the generated tabular data from large language models. The predominant method for assessing the quality of synthetic tabular data is the train-synthetic-test-real approach, where the artificial examples are compared to the original by how well machine learning models, trained separately on the real and synthetic sets, perform in some downstream tasks. This method does not directly measure how closely the distribution of generated data approximates that of the original. This paper introduces rigorous methods for directly assessing synthetic tabular data against real data by looking at inter-column dependencies within the data. We find that large language models (GPT-2), both when queried via few-shot prompting and when fine-tuned, and GAN (CTGAN) models do not produce data with dependencies that mirror the original real data. Results from this study can inform future practice in synthetic data generation to improve data quality.