A Taxonomy of Prompt Defects in LLM Systems

📄 arXiv: 2509.14404v1 📥 PDF

作者: Haoye Tian, Chong Wang, BoYang Yang, Lyuye Zhang, Yang Liu

分类: cs.SE, cs.AI, cs.CL, cs.PL

发布日期: 2025-09-17

💡 一句话要点

构建LLM系统Prompt缺陷分类体系，提升系统可靠性与安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Prompt工程 缺陷分类 软件工程 可靠性 安全性 自动化测试 LLM系统

📋 核心要点

  1. 现有LLM系统Prompt设计缺乏系统性方法，容易出现各种缺陷，导致系统行为不可靠。
  2. 论文提出Prompt缺陷的分类体系，从六个维度分析缺陷类型、原因和影响，并提供缓解策略。
  3. 该研究基于软件工程原则，分析了缺陷在实际开发中的表现，并总结了缺陷、影响和补救措施之间的关系。

📝 摘要（中文）

大型语言模型(LLMs)已成为现代软件的关键组成部分，而Prompt充当了其事实上的编程接口。然而，Prompt设计在很大程度上仍然是经验性的，微小的错误可能会演变成不可靠、不安全或低效的行为。本文首次对Prompt缺陷进行了系统的调查和分类，这些缺陷是指Prompt未能从LLM中引出预期行为的常见方式。我们将缺陷组织为六个维度：(1)规范和意图，(2)输入和内容，(3)结构和格式，(4)上下文和记忆，(5)性能和效率，以及(6)可维护性和工程。每个维度都被细化为细粒度的子类型，并用具体的例子和根本原因分析加以说明。基于软件工程原理，我们展示了这些缺陷如何在实际开发工作流程中出现，并检查它们的下游影响。对于每个子类型，我们提炼了缓解策略，涵盖了新兴的Prompt工程模式、自动化防护栏、测试工具和评估框架。然后，我们将这些策略总结在一个主分类中，该分类将缺陷、影响和补救措施联系起来。最后，我们提出了开放的研究挑战，并呼吁采用严格的、面向工程的方法，以确保LLM驱动的系统在设计上是可靠的。

🔬 方法详解

问题定义：论文旨在解决LLM系统中Prompt设计缺乏系统性方法，导致系统容易出现不可靠、不安全或低效行为的问题。现有Prompt设计主要依赖经验，缺乏理论指导和系统性的缺陷分析，使得开发者难以有效地识别和修复Prompt中的问题。

核心思路：论文的核心思路是借鉴软件工程中的缺陷管理方法，对LLM系统中Prompt的缺陷进行系统性的分类和分析。通过建立一个全面的Prompt缺陷分类体系，帮助开发者更好地理解Prompt可能出现的问题，并提供相应的缓解策略，从而提高LLM系统的可靠性和安全性。

技术框架：论文构建了一个六维的Prompt缺陷分类框架，包括：(1)规范和意图，(2)输入和内容，(3)结构和格式，(4)上下文和记忆，(5)性能和效率，以及(6)可维护性和工程。每个维度下又细分为多个子类型，并针对每个子类型分析了其根本原因、影响以及相应的缓解策略。论文还提供了一个主分类，将缺陷、影响和补救措施联系起来，形成一个完整的缺陷管理体系。

关键创新：论文最重要的创新在于首次对LLM系统中Prompt的缺陷进行了系统性的分类和分析，并提出了一个全面的Prompt缺陷分类体系。该体系不仅涵盖了各种常见的Prompt缺陷类型，还提供了相应的缓解策略，为开发者提供了一个有效的工具，用于识别和修复Prompt中的问题。与现有方法相比，该方法更加系统化和全面，能够更好地提高LLM系统的可靠性和安全性。

关键设计：论文的关键设计在于六个维度的划分和子类型的细化。每个维度都从不同的角度分析了Prompt可能出现的问题，而子类型的细化则使得缺陷的分类更加精确。此外，论文还针对每个子类型提供了具体的例子和根本原因分析，以及相应的缓解策略，使得开发者能够更好地理解和应用该分类体系。

📊 实验亮点

论文构建了首个LLM系统Prompt缺陷分类体系，涵盖六个维度，并细化为多个子类型。针对每个子类型，论文提供了具体的例子、根本原因分析和缓解策略。该研究为LLM系统的可靠性工程提供了重要的理论基础和实践指导。

🎯 应用场景

该研究成果可应用于各种基于LLM的软件系统开发，例如智能客服、文本生成、代码生成等。通过使用该Prompt缺陷分类体系，开发者可以更有效地识别和修复Prompt中的问题，提高LLM系统的可靠性、安全性和效率，降低维护成本。该研究还有助于推动Prompt工程领域的发展，促进LLM技术的更广泛应用。

📄 摘要（原文）

Large Language Models (LLMs) have become key components of modern software, with prompts acting as their de-facto programming interface. However, prompt design remains largely empirical and small mistakes can cascade into unreliable, insecure, or inefficient behavior. This paper presents the first systematic survey and taxonomy of prompt defects, recurring ways that prompts fail to elicit their intended behavior from LLMs. We organize defects along six dimensions: (1) Specification and Intent, (2) Input and Content, (3) Structure and Formatting, (4) Context and Memory, (5) Performance and Efficiency, and (6) Maintainability and Engineering. Each dimension is refined into fine-grained subtypes, illustrated with concrete examples and root cause analysis. Grounded in software engineering principles, we show how these defects surface in real development workflows and examine their downstream effects. For every subtype, we distill mitigation strategies that span emerging prompt engineering patterns, automated guardrails, testing harnesses, and evaluation frameworks. We then summarize these strategies in a master taxonomy that links defect, impact, and remedy. We conclude with open research challenges and a call for rigorous engineering-oriented methodologies to ensure that LLM-driven systems are dependable by design.