Iterative Audit Convergence in LLM-Managed Multi-Agent Systems: A Case Study in Prompt Engineering Quality Assurance

📄 arXiv: 2605.12280v1 📥 PDF

作者: Elias Calboreanu

分类: cs.SE, cs.AI

发布日期: 2026-05-12

备注: 13 pages, 3 figures, 6 tables. Companion preprint at arXiv:2604.05000. Submitted to MDPI Software, Special Issue on Software Reliability, Security and Quality Assurance

💡 一句话要点

提出基于LLM驱动的多Agent迭代审计方法，用于提升Prompt工程质量保障。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多Agent系统 LLM Prompt工程 质量保障 迭代审计

📋 核心要点

  1. 多Agent LLM系统的Prompt规范复杂且缺乏结构化检查，容易引入数据合同和集成逻辑错误。
  2. 利用LLM驱动的Agent进行迭代审计，通过清单驱动的演练，系统性地发现Prompt规范中的一致性缺陷。
  3. 在AEGIS系统中进行了实证研究，通过九轮迭代审计发现了51个Prompt规范缺陷，验证了该方法的可行性。

📝 摘要（中文）

本文报告了一个单系统实证案例研究，该研究将Agent驱动的迭代审计应用于AEGIS（自主工程治理和智能系统），这是一个生产级的七通道编排流水线，其Prompt规范表面包含大约7150行代码：分布在七个通道PROMPT.md文件中的6907行和一个245行的共享Ticket Contract。由Claude子Agent使用基于Weinberg和Freedman的清单驱动的演练执行的九轮连续审计，发现了51个Prompt规范一致性缺陷，这与配套预印本中报告的51个STRIDE分类的对抗性代码发现不同。每轮计数分别为15、8、12、2、8、1、4、1和0。我们报告了一个七类事后缺陷分类，具有明确的编码规则，观察到与级联编辑和审计范围扩展一致的非单调收敛，以及从研究中提炼出的审计协议，最终锁定的清单作为可重复性附录发布。单文件审查错过了只有在系统中后期扩展范围的轮次中才会出现的缺陷类别。相同的LLM家族编写和审计了规范；在推广之前，需要使用不同的模型和人工审查员进行复制。

🔬 方法详解

问题定义：论文旨在解决多Agent LLM系统中Prompt工程的质量保障问题。现有的Prompt规范往往散落在多个文件中，缺乏结构化的检查和验证，容易引入一致性缺陷，导致系统行为异常。传统的代码审查方法难以有效发现这些缺陷，因为Prompt规范的语义复杂且与LLM的行为密切相关。

核心思路：论文的核心思路是利用LLM自身的能力，构建一个Agent驱动的迭代审计系统。该系统通过预定义的清单和规则，指导LLM Agent对Prompt规范进行系统性的检查，并逐步扩大审计范围，从而发现潜在的缺陷。这种方法充分利用了LLM的理解和推理能力，能够更有效地发现Prompt规范中的语义错误和一致性问题。

技术框架：该研究使用AEGIS系统作为案例，该系统是一个包含七个通道的生产级编排流水线。审计过程由Claude子Agent执行，采用基于清单驱动的演练方法。整个审计过程分为九轮迭代，每轮迭代都基于前一轮的结果进行调整和改进。审计结果被分类为七个不同的缺陷类别，并进行详细的记录和分析。

关键创新：该研究的关键创新在于将LLM Agent引入到Prompt工程的质量保障流程中。传统的代码审查方法主要依赖人工或静态分析工具，难以有效发现Prompt规范中的语义错误。而该研究利用LLM Agent的理解和推理能力，能够更有效地发现这些错误，并提供更全面的质量保障。

关键设计：审计清单的设计是该方法成功的关键。清单需要包含明确的规则和指导，以便LLM Agent能够有效地执行审计任务。此外，迭代审计的设计也至关重要，通过逐步扩大审计范围，可以发现更多潜在的缺陷。研究中还定义了七种缺陷类型，并制定了明确的编码规则，以便对审计结果进行分类和分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

通过九轮迭代审计，该研究在AEGIS系统中发现了51个Prompt规范一致性缺陷。实验结果表明，迭代审计能够有效地发现单文件审查难以发现的缺陷类别。此外，研究还观察到非单调收敛现象，表明级联编辑和审计范围扩展对缺陷发现具有重要影响。

🎯 应用场景

该研究提出的方法可以应用于各种基于LLM的多Agent系统，用于提升Prompt工程的质量和可靠性。该方法可以帮助开发者更早地发现和修复Prompt规范中的缺陷，从而降低系统故障的风险，提高系统的稳定性和性能。此外，该方法还可以用于自动化Prompt工程的质量保障流程，提高开发效率。

📄 摘要（原文）

Prompt specifications for multi-agent large language model (LLM) systems carry data contracts and integration logic across many interdependent files but are rarely subjected to structured-inspection rigor. This paper reports a single-system empirical case study of iterative, agent-driven auditing applied to AEGIS (Autonomous Engineering Governance and Intelligence System), a production seven-lane orchestration pipeline whose prompt-specification surface comprises approximately 7150 lines: 6907 across seven lane PROMPT.md files and a 245-line shared Ticket Contract. Nine sequential audit rounds, executed by Claude sub-agents using a checklist-driven walkthrough adapted from Weinberg and Freedman, surfaced 51 prompt-specification consistency defects, distinct from the 51 STRIDE-categorized adversarial code findings reported in the companion preprint. Per-round counts were 15, 8, 12, 2, 8, 1, 4, 1, and 0. We report a seven-category post-hoc defect taxonomy with explicit coding rules, observed non-monotonic convergence consistent with cascading edits and audit-scope expansion, and an audit protocol distilled from the study, with the final locked checklist released as a reproducibility appendix. Single-file review missed defect classes that were surfaced only by later expanded-scope rounds in this system. The same LLM family authored and audited the specifications; replication with dissimilar models and human reviewers is required before generalization.