A Comparative Study of Open-Source Libraries for Synthetic Tabular Data Generation: SDV vs. SynthCity
作者: Cristian Del Gobbo
分类: cs.LG, cs.AI
发布日期: 2025-06-21
备注: 23 Pages, 5 figures, and 6 tables
💡 一句话要点
对比SDV与SynthCity：评估开源库在合成表格数据生成中的性能，并分析其统计相似性和预测效用。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 合成数据生成 表格数据 SDV Synthicity 统计相似性 预测效用 开源库 数据增强
📋 核心要点
- 获取高质量真实数据困难，尤其是在数据量有限的情况下，这限制了机器学习模型，特别是LLM的训练效果。
- 利用合成数据生成器，通过模拟真实数据的统计特性和结构，在保护隐私的同时，生成可用于训练模型的数据。
- 实验表明，Synthicity的贝叶斯网络在统计相似性上表现最佳，而SDV的TVAE在1:10比例下预测效用更优，SDV的易用性更强。
📝 摘要（中文）
高质量的训练数据对于机器学习模型，特别是大型语言模型（LLMs）的性能至关重要。然而，获取真实的高质量数据可能具有挑战性，尤其是对于小型组织和初创公司。合成数据生成器提供了一种有前景的解决方案，通过复制真实数据的统计和结构属性，同时保护隐私和可扩展性。本研究评估了来自两个广泛使用的开源库的六个表格合成数据生成器的性能：SDV（Gaussian Copula、CTGAN、TVAE）和Synthicity（Bayesian Network、CTGAN、TVAE）。使用来自UCI机器学习存储库的真实世界数据集（包含来自比利时的能源消耗和环境变量），我们通过仅在1000行数据上训练模型来模拟低数据状态。然后，每个生成器被要求在两种条件下生成合成数据集：1:1（1000行）和1:10（10000行）的输入输出比率。评估使用两个标准进行：统计相似性，通过经典统计和分布度量来衡量；以及预测效用，使用“在合成数据上训练，在真实数据上测试”的方法，使用四个回归模型进行评估。虽然统计相似性在两种情况下所有模型中保持一致，但预测效用在1:10的情况下显着下降。Synthicity的贝叶斯网络在两种情况下都实现了最高的保真度，而SDV的TVAE在1:10设置下的预测任务中表现最佳。虽然两个库之间没有发现显着的性能差距，但SDV以其卓越的文档和易用性而脱颖而出，使其更易于从业者使用。
🔬 方法详解
问题定义：论文旨在评估和比较不同的开源合成表格数据生成库（SDV和Synthicity）在生成高质量合成数据方面的性能。现有方法在数据量不足或隐私敏感的情况下难以获得足够的训练数据，限制了机器学习模型的应用。
核心思路：通过生成与真实数据具有相似统计特征的合成数据，解决数据稀缺和隐私保护问题。核心在于评估不同生成模型在模拟真实数据分布和保持预测效用方面的能力。
技术框架：该研究采用“Train on Synthetic, Test on Real”的评估框架。首先，使用真实数据集（比利时能源消耗数据）训练不同的合成数据生成模型（SDV和Synthicity中的多种算法）。然后，使用生成的合成数据训练回归模型，并在真实数据上进行测试，评估合成数据的预测效用。同时，使用统计指标评估合成数据与真实数据的统计相似性。
关键创新：该研究的创新在于对SDV和Synthicity两个流行的开源库中的多种合成数据生成算法进行了全面的比较分析，并从统计相似性和预测效用两个方面评估了它们的性能。此外，研究还探讨了不同输入输出比例对合成数据质量的影响。
关键设计：研究中使用了UCI机器学习存储库中的真实数据集，并模拟了低数据场景（1000行数据）。评估指标包括统计相似性（通过经典统计和分布度量）和预测效用（通过在合成数据上训练并在真实数据上测试的回归模型）。比较了不同生成模型在1:1和1:10两种输入输出比例下的性能表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Synthicity的贝叶斯网络在统计相似性方面表现最佳，而SDV的TVAE在1:10的输入输出比例下，预测效用表现更优。研究还发现，在1:10的比例下，预测效用有所下降。虽然两个库之间没有显著的性能差异，但SDV因其更完善的文档和易用性而更受青睐。
🎯 应用场景
该研究成果可应用于多个领域，例如金融、医疗和能源等，在这些领域中，数据获取成本高昂或涉及隐私问题。通过使用合成数据，可以促进机器学习模型的开发和应用，解决数据稀缺问题，并保护敏感信息。未来，该技术可用于生成更逼真、更具预测性的合成数据，从而进一步提高机器学习模型的性能。
📄 摘要（原文）
High-quality training data is critical to the performance of machine learning models, particularly Large Language Models (LLMs). However, obtaining real, high-quality data can be challenging, especially for smaller organizations and early-stage startups. Synthetic data generators provide a promising solution by replicating the statistical and structural properties of real data while preserving privacy and scalability. This study evaluates the performance of six tabular synthetic data generators from two widely used open-source libraries: SDV (Gaussian Copula, CTGAN, TVAE) and Synthicity (Bayesian Network, CTGAN, TVAE). Using a real-world dataset from the UCI Machine Learning Repository, comprising energy consumption and environmental variables from Belgium, we simulate a low-data regime by training models on only 1,000 rows. Each generator is then tasked with producing synthetic datasets under two conditions: a 1:1 (1,000 rows) and a 1:10 (10,000 rows) input-output ratio. Evaluation is conducted using two criteria: statistical similarity, measured via classical statistics and distributional metrics; and predictive utility, assessed using a "Train on Synthetic, Test on Real" approach with four regression models. While statistical similarity remained consistent across models in both scenarios, predictive utility declined notably in the 1:10 case. The Bayesian Network from Synthicity achieved the highest fidelity in both scenarios, while TVAE from SDV performed best in predictive tasks under the 1:10 setting. Although no significant performance gap was found between the two libraries, SDV stands out for its superior documentation and ease of use, making it more accessible for practitioners.