Trust at Your Own Peril: A Mixed Methods Exploration of the Ability of Large Language Models to Generate Expert-Like Systems Engineering Artifacts and a Characterization of Failure Modes

📄 arXiv: 2502.09690v1 📥 PDF

作者: Taylan G. Topcu, Mohammed Husain, Max Ofsa, Paul Wach

分类: cs.CL, cs.AI

发布日期: 2025-02-13

备注: 41 pages, 10 figures

💡 一句话要点

评估大语言模型生成系统工程制品能力，揭示其潜在失效模式及风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 系统工程 人工智能 失效模式 提示工程

📋 核心要点

  1. 系统工程任务的跨学科性和复杂性，以及对领域知识和操作环境的依赖，对LLM生成高质量SE制品构成挑战。
  2. 研究采用提示工程，直接利用未经微调的LLM生成SE制品，并与专家基准进行对比，评估LLM的基线性能。
  3. 实验结果表明，虽然NLP算法难以区分AI生成制品与专家基准，但定性分析揭示了AI制品中存在的潜在失效模式。

📝 摘要（中文）

本文旨在评估通用大语言模型（LLM）在生成系统工程（SE）制品方面的能力。研究通过提示工程，利用LLM生成SE制品的片段，并与人类专家生成的基准进行比较。采用混合方法，首先使用自然语言处理算法进行定量比较，结果表明，在精心提示下，最先进的算法难以区分AI生成的制品与专家基准。其次，进行定性深入分析，揭示AI生成制品在质量上的差异。研究发现，AI生成的制品存在难以检测的严重失效模式，包括过早的需求定义、缺乏依据的数值估计以及过度规范的倾向。该研究警示系统工程领域在采用AI建议的反馈时应保持谨慎，尤其是在使用通用LLM时。

🔬 方法详解

问题定义：论文旨在评估通用大语言模型（LLM）在生成系统工程（SE）制品方面的能力。现有方法依赖于人工专家，成本高昂且效率低下。LLM虽然在自然语言处理方面取得了显著进展，但其在复杂、跨学科的系统工程领域的应用效果尚不明确，尤其是在缺乏特定领域训练的情况下。现有方法难以有效评估LLM在SE领域的适用性和潜在风险。

核心思路：论文的核心思路是通过将LLM生成的SE制品与人类专家生成的基准进行对比，从而评估LLM的性能。通过定量和定性分析，揭示LLM在生成SE制品时可能出现的失效模式，并探讨其潜在风险。这种对比分析方法能够更全面地了解LLM在SE领域的优势和局限性。

技术框架：研究采用两阶段混合方法。第一阶段是定量分析，使用自然语言处理算法比较LLM生成的制品与专家基准的相似度。第二阶段是定性分析，由领域专家对LLM生成的制品进行深入评估，识别其潜在的失效模式。整个流程包括：1) 选取专家生成的SE制品作为基准；2) 将基准制品解析并输入LLM，通过提示工程生成SE制品片段；3) 使用NLP算法进行定量比较；4) 进行定性深入分析，识别失效模式。

关键创新：论文的关键创新在于采用混合方法评估LLM在系统工程领域的应用。定量分析侧重于表面相似度，而定性分析则深入挖掘潜在的质量问题和失效模式。这种结合的方法能够更全面地评估LLM的性能，并揭示其在复杂领域的局限性。此外，论文还对LLM生成的SE制品进行了失效模式的分类和描述，为后续研究提供了参考。

关键设计：研究的关键设计包括：1) 使用未经微调的通用LLM，以评估其基线性能；2) 采用提示工程，引导LLM生成特定类型的SE制品；3) 使用多种NLP算法进行定量比较，包括相似度计算等；4) 由领域专家进行定性评估，识别失效模式，如过早的需求定义、缺乏依据的数值估计和过度规范等。

📊 实验亮点

研究发现，在精心设计的提示下，最先进的NLP算法难以区分LLM生成的SE制品与专家基准。然而，定性分析揭示了LLM生成的制品存在严重的失效模式，包括过早的需求定义、缺乏依据的数值估计以及过度规范的倾向。这些失效模式可能难以检测，对系统工程实践构成潜在风险。

🎯 应用场景

该研究成果可应用于系统工程领域，帮助工程师了解LLM在生成SE制品方面的能力和局限性。研究结果可用于指导LLM在SE领域的应用，例如辅助需求分析、系统设计和验证等。同时，该研究也为其他复杂领域的AI应用提供了借鉴，有助于更全面地评估AI系统的性能和风险。

📄 摘要（原文）

Multi-purpose Large Language Models (LLMs), a subset of generative Artificial Intelligence (AI), have recently made significant progress. While expectations for LLMs to assist systems engineering (SE) tasks are paramount; the interdisciplinary and complex nature of systems, along with the need to synthesize deep-domain knowledge and operational context, raise questions regarding the efficacy of LLMs to generate SE artifacts, particularly given that they are trained using data that is broadly available on the internet. To that end, we present results from an empirical exploration, where a human expert-generated SE artifact was taken as a benchmark, parsed, and fed into various LLMs through prompt engineering to generate segments of typical SE artifacts. This procedure was applied without any fine-tuning or calibration to document baseline LLM performance. We then adopted a two-fold mixed-methods approach to compare AI generated artifacts against the benchmark. First, we quantitatively compare the artifacts using natural language processing algorithms and find that when prompted carefully, the state-of-the-art algorithms cannot differentiate AI-generated artifacts from the human-expert benchmark. Second, we conduct a qualitative deep dive to investigate how they differ in terms of quality. We document that while the two-material appear very similar, AI generated artifacts exhibit serious failure modes that could be difficult to detect. We characterize these as: premature requirements definition, unsubstantiated numerical estimates, and propensity to overspecify. We contend that this study tells a cautionary tale about why the SE community must be more cautious adopting AI suggested feedback, at least when generated by multi-purpose LLMs.