Attributes as Textual Genes: Leveraging LLMs as Genetic Algorithm Simulators for Conditional Synthetic Data Generation

📄 arXiv: 2509.02040v1 📥 PDF

作者: Guangzeng Han, Weisi Liu, Xiaolei Huang

分类: cs.CL

发布日期: 2025-09-02

备注: Accepted to EMNLP2025 Findings

💡 一句话要点

提出Genetic Prompt，利用LLM模拟遗传算法进行条件合成数据生成，提升数据质量和多样性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据生成 遗传算法 大型语言模型 数据增强 自然语言处理 主动学习 文本属性

📋 核心要点

  1. 现有合成数据生成方法难以保证数据质量和多样性，限制了其在实际应用中的效果。
  2. Genetic Prompt将文本属性视为基因，利用LLM模拟遗传算法的交叉变异，生成更优的合成数据。
  3. 实验表明，Genetic Prompt显著优于现有方法，且与原始数据融合后能有效提升下游任务性能。

📝 摘要（中文）

大型语言模型(LLM)擅长生成合成数据，但保证其质量和多样性仍然具有挑战性。我们提出了Genetic Prompt，这是一个将遗传算法与LLM相结合以增强合成数据生成的新框架。我们的方法将语义文本属性视为基因序列，并利用LLM来模拟交叉和变异操作。这种遗传过程通过创建新的属性组合来提高数据质量和多样性，从而产生更接近真实世界数据的合成分布。为了优化父代选择，我们还集成了一个主动学习方案，以扩大后代搜索空间。我们在多个NLP任务上的实验表明：Genetic Prompt不仅显著优于最先进的基线，而且在各种生成器模型大小和规模上都表现出强大的性能。此外，我们证明了将我们的合成数据与原始训练集融合可以显著提高下游模型的性能，尤其是在类不平衡的情况下。我们的研究结果验证了Genetic Prompt是一种有效的方法，可以为各种NLP应用生成高质量的合成数据。

🔬 方法详解

问题定义：论文旨在解决合成数据生成中数据质量和多样性不足的问题。现有方法难以有效控制生成数据的属性组合，导致合成数据与真实数据分布存在较大差距，限制了其在下游任务中的应用效果。尤其是在数据不平衡的情况下，合成数据难以有效提升模型性能。

核心思路：论文的核心思路是将文本属性视为基因，利用大型语言模型（LLM）模拟遗传算法中的交叉和变异操作，从而生成具有更高质量和多样性的合成数据。通过模拟生物进化过程，探索更优的属性组合，使合成数据更接近真实数据分布。

技术框架：Genetic Prompt框架主要包含以下几个阶段：1) 属性提取：从原始数据中提取关键的语义文本属性。2) 基因编码：将提取的属性编码为基因序列。3) 遗传操作：利用LLM模拟遗传算法中的交叉和变异操作，生成新的基因序列（属性组合）。4) 数据生成：使用LLM根据新的属性组合生成合成数据。5) 主动学习：通过主动学习选择更优的父代，扩大搜索空间，进一步提升数据质量。

关键创新：该方法最重要的创新点在于将遗传算法与LLM相结合，利用LLM强大的生成能力和语义理解能力，模拟遗传算法的交叉和变异过程，从而高效地生成高质量、多样化的合成数据。与传统合成数据生成方法相比，该方法能够更好地控制生成数据的属性组合，并探索更优的属性空间。

关键设计：在遗传操作中，论文使用LLM根据Prompt进行交叉和变异。Prompt的设计至关重要，需要引导LLM生成符合要求的属性组合。主动学习策略用于选择更优的父代，具体方法是训练一个判别器来评估合成数据的质量，并选择判别器认为质量高的样本作为下一代的父代。此外，论文还探索了不同的交叉和变异策略，例如单点交叉、多点交叉和随机变异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Genetic Prompt在多个NLP任务上显著优于现有基线方法。例如，在文本分类任务中，Genetic Prompt的性能提升了5%以上。此外，将Genetic Prompt生成的合成数据与原始训练数据融合后，下游模型的性能得到了进一步提升，尤其是在类别不平衡的情况下，提升幅度更为显著。实验还验证了Genetic Prompt在不同规模的LLM上都具有良好的性能。

🎯 应用场景

该研究成果可广泛应用于自然语言处理领域，例如文本分类、情感分析、命名实体识别等。尤其是在数据稀缺或类别不平衡的情况下，Genetic Prompt能够生成高质量的合成数据，有效提升模型的泛化能力和鲁棒性。此外，该方法还可以应用于其他领域，例如图像生成、语音合成等，具有广阔的应用前景。

📄 摘要（原文）

Large Language Models (LLMs) excel at generating synthetic data, but ensuring its quality and diversity remains challenging. We propose Genetic Prompt, a novel framework that combines genetic algorithms with LLMs to augment synthetic data generation. Our approach treats semantic text attributes as gene sequences and leverages the LLM to simulate crossover and mutation operations. This genetic process enhances data quality and diversity by creating novel attribute combinations, yielding synthetic distributions closer to real-world data. To optimize parent selection, we also integrate an active learning scheme that expands the offspring search space. Our experiments on multiple NLP tasks reveal several key findings: Genetic Prompt not only significantly outperforms state-of-the-art baselines but also shows robust performance across various generator model sizes and scales. Moreover, we demonstrate that fusing our synthetic data with the original training set significantly boosts downstream model performance, particularly for class-imbalanced scenarios. Our findings validate that Genetic Prompt is an effective method for producing high-quality synthetic data for a wide range of NLP applications.