Who Analyses the Analyser? Self-Validating LLM Hazard Analysis with Constitutional Meta-STPA

📄 arXiv: 2607.08054v1 📥 PDF

作者: Samuel Tetteh, Udip Shrestha, Joshua R. Waite, Cody Fleming

分类: cs.LG, cs.AI

发布日期: 2026-07-09

💡 一句话要点

提出自验证LLM风险分析工具以解决安全分析盲点问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全分析 自我验证 系统理论过程分析 治理原则 风险分析 AI安全工具

📋 核心要点

  1. 现有的LLM辅助安全分析工具未能自我分析，导致潜在的安全隐患和不可验证的约束。
  2. 本文提出了宪法元STPA，通过对LLM工具进行自我分析，推导出治理原则以增强安全性。
  3. 实验结果表明，强大的模型组合能够恢复大部分治理原则，验证了方法的有效性和模型的局限性。

📝 摘要（中文）

大型语言模型（LLMs）在安全分析中越来越受到信任，能够生成损失、危害、不安全控制行为（UCA）和安全约束等文档。然而，现有文献中存在一个盲点：分析工具本身作为一个安全相关系统并未被分析。本文提出了“宪法元STPA”，通过对LLM辅助工具进行自我分析，构建了一个闭环系统，从损失到危害再到UCA和约束的链条中推导出治理宪法，形成了21条工具原则和8条元安全原则，并进行了相关实验验证。

🔬 方法详解

问题定义：本文旨在解决LLM辅助安全分析工具未被分析的问题，指出其可能产生的幻觉标准和缺乏审计轨迹的风险。

核心思路：通过将系统理论过程分析（STPA）应用于LLM工具自身，形成自我验证的闭环，推导出治理宪法以确保安全性。

技术框架：整体架构包括一个元STPA模块，该模块分析AI辅助安全工具的类别，并从损失、危害、UCA到约束的链条中推导出原则，最终形成宪法。

关键创新：最重要的创新在于将STPA方法应用于分析工具本身，形成自我治理的框架，解决了以往方法未能覆盖的盲点。

关键设计：本文设计了一个宪法边际覆盖算子，确保从原则集P中独立于模型和扫描器地隔离覆盖，并通过实验验证了不同模型组合的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，强大的模型组合（如claude-opus-4.8与claude-sonnet-4）能够恢复18条治理原则和所有8条元安全原则，验证了方法的有效性。相对较弱的模型组合则恢复了12条治理原则和3条元安全原则，表明元层的限制主要来自模型而非宪法。

🎯 应用场景

该研究的潜在应用领域包括安全-critical系统的设计与分析、自动化安全审计工具的开发，以及LLM在安全领域的可信应用。通过自我验证的框架，可以提高安全分析工具的可靠性和透明度，促进更广泛的应用。

📄 摘要（原文）

Large language models (LLMs) are increasingly trusted to draft the artifacts of safety analysis such as, losses, hazards, Unsafe Control Actions (UCAs), and safety constraints, inside rigorous processes such as Systems-Theoretic Process Analysis (STPA). Yet a blind spot runs through this fast-growing literature: every system gets analysed except the LLM-assisted tool doing the analysing, which is itself a safety-relevant system that can hallucinate standards, emit unverifiable constraints, and leave no audit trail from prompt to artifact. We take seriously the question the field has skipped -- {who analyses the analyser?} and answer it by turning STPA on the tool itself. We present {Constitutional Meta-STPA}, an LLM-assisted STPA tool built around a closed loop: the tool runs a {meta-STPA} of the class of AI-assisted safety tools and {derives} rather than asserts, its governance constitution from the resulting loss$\to$hazard$\to$UCA$\to$constraint chain, yielding a published constitution of $21$ Tool Principles and $8$ Meta-Safety Principles, each bound to a code enforcement point. We formalise the measured object as a constitution-marginal coverage operator over a principle set $P$ ($|P|{=}29$) with a soundness lemma that isolates coverage from model and scanner, and report four findings. {(i)~Self-derivation:} a frontier ensemble ({claude-opus-4.8}${+}${claude-sonnet-4}) recovers $18/21$ canonical and all $8/8$ governance principles from the tool's own design, while a weaker pair recovers $12/21$ and $3/8$, so the meta layer is model-limited, not constitution-limited, and the same $8/8$ re-emerge from a second, independently authored tool.