Synthline: A Product Line Approach for Synthetic Requirements Engineering Data Generation using Large Language Models

📄 arXiv: 2505.03265v1 📥 PDF

作者: Abdelkarim El-Hajjami, Camille Salinesi

分类: cs.SE, cs.AI

发布日期: 2025-05-06

💡 一句话要点

Synthline：一种基于产品线的大语言模型合成需求工程数据生成方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 需求工程 合成数据生成 大型语言模型 产品线工程 机器学习

📋 核心要点

  1. 高质量数据集的稀缺性限制了自然语言处理和机器学习技术在需求工程中的应用效果。
  2. Synthline 是一种基于产品线的方法，利用大型语言模型系统地生成合成需求工程数据。
  3. 实验表明，结合合成数据和真实数据训练模型，精度最高提升85%，召回率提升2倍。

📝 摘要（中文）

现代需求工程（RE）严重依赖自然语言处理和机器学习（ML）技术，但其有效性受到高质量数据集稀缺的限制。本文介绍了一种产品线（PL）方法Synthline，它利用大型语言模型系统地生成用于基于分类用例的合成RE数据。通过在将ML用于识别需求规范缺陷的背景下进行的实证评估，我们研究了生成数据的多样性及其用于训练下游模型的效用。我们的分析表明，虽然合成数据集的多样性不如真实数据，但它们足以作为可行的训练资源。此外，我们的评估表明，结合合成数据和真实数据可以显着提高性能。具体而言，与仅在真实数据上训练的模型相比，混合方法在精度方面提高了高达85％，召回率提高了2倍。这些发现证明了基于PL的合成数据生成在解决RE中数据稀缺问题方面的潜力。我们公开了我们的实现和生成的数据集，以支持该领域的可重复性和进步。

🔬 方法详解

问题定义：需求工程领域缺乏高质量的训练数据集，这限制了机器学习方法在该领域的应用。现有的真实数据集规模小、标注成本高，难以满足深度学习模型的需求。因此，如何高效、低成本地生成高质量的合成数据成为一个亟待解决的问题。

核心思路：论文的核心思路是利用产品线（Product Line, PL）的思想，结合大型语言模型（Large Language Models, LLMs）来系统地生成合成需求工程数据。通过定义产品线的特征模型，控制生成数据的多样性和质量，从而解决数据稀缺问题。这种方法旨在模拟真实数据的分布，使得训练得到的模型能够泛化到真实场景中。

技术框架：Synthline 的整体框架包含以下几个主要阶段：1) 特征模型定义：定义产品线的特征模型，包括核心特征、可选特征和变异点。这些特征决定了生成数据的多样性和范围。2) LLM提示工程：设计合适的提示（Prompts）输入到 LLM 中，指导 LLM 生成符合特定特征组合的需求工程数据。3) 数据生成：利用 LLM 根据特征模型和提示生成合成数据。4) 数据评估与优化：评估生成数据的质量和多样性，并根据评估结果调整特征模型和提示，迭代优化数据生成过程。

关键创新：该方法的关键创新在于将产品线的思想引入到合成数据生成过程中。通过特征模型来控制生成数据的多样性和质量，使得生成的数据更具结构性和可控性。此外，利用大型语言模型强大的生成能力，可以高效地生成大量高质量的合成数据。与传统的基于规则或模板的合成数据生成方法相比，该方法更加灵活和可扩展。

关键设计：在特征模型设计方面，需要仔细考虑需求工程数据的关键特征，例如需求类型、优先级、复杂度等。在 LLM 提示工程方面，需要设计清晰、明确的提示，指导 LLM 生成符合特定特征组合的数据。例如，可以使用 few-shot learning 的方式，提供一些示例数据给 LLM，帮助其更好地理解生成任务。此外，数据评估指标的选择也很重要，需要选择能够反映数据质量和多样性的指标，例如覆盖率、相似度等。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，虽然合成数据集的多样性不如真实数据，但足以作为可行的训练资源。结合合成数据和真实数据进行训练，可以显著提高模型性能，精度最高提升85%，召回率提升2倍。这表明 Synthline 方法能够有效解决需求工程领域的数据稀缺问题，并为机器学习方法在该领域的应用提供有力支持。

🎯 应用场景

该研究成果可应用于需求工程领域的多个方面，例如需求分类、缺陷检测、需求优先级排序等。通过使用合成数据训练机器学习模型，可以降低数据标注成本，提高模型性能。此外，该方法还可以用于生成特定场景下的需求数据，例如安全关键系统的需求数据，从而支持特定领域的应用。未来，该方法可以扩展到其他软件工程领域，例如测试用例生成、代码生成等。

📄 摘要（原文）

While modern Requirements Engineering (RE) heavily relies on natural language processing and Machine Learning (ML) techniques, their effectiveness is limited by the scarcity of high-quality datasets. This paper introduces Synthline, a Product Line (PL) approach that leverages Large Language Models to systematically generate synthetic RE data for classification-based use cases. Through an empirical evaluation conducted in the context of using ML for the identification of requirements specification defects, we investigated both the diversity of the generated data and its utility for training downstream models. Our analysis reveals that while synthetic datasets exhibit less diversity than real data, they are good enough to serve as viable training resources. Moreover, our evaluation shows that combining synthetic and real data leads to substantial performance improvements. Specifically, hybrid approaches achieve up to 85% improvement in precision and a 2x increase in recall compared to models trained exclusively on real data. These findings demonstrate the potential of PL-based synthetic data generation to address data scarcity in RE. We make both our implementation and generated datasets publicly available to support reproducibility and advancement in the field.