Who Audits Whom, on What Substrate, with What Evidence? An Independence-Graded Audit Protocol for Agentic AI
作者: Mohamed Chahine Ghanem
分类: cs.AI, cs.CR, cs.ET
发布日期: 2026-09-16
备注: 19 pages
💡 一句话要点
提出独立性分级审计协议以解决代理AI审计问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代理AI 审计协议 独立性评估 可靠性工程 风险管理 证据验证 蒙特卡洛模拟
📋 核心要点
- 现有的审计方法将独立性视为二元，无法有效评估代理AI系统的审计质量。
- 本文提出了一种独立性分级审计协议，从主体、基底和证据三个维度对审计进行分级。
- 通过七步协议和蒙特卡洛研究，验证了新模型的有效性，发现传统审计方法的局限性。
📝 摘要（中文）
代理AI系统在有限监督下进行计划、调用工具和行动，既是审计的对象，也逐渐成为审计者。独立性作为保证的基础，仍然被视为二元的。本文主张应沿三个正交轴进行分级：主体独立性（谁控制审计者）、基底独立性（共享审计对象基础模型的审计者会随其失败）和证据独立性（证据是否可证明而非自我报告）。每个轴都有先例；本文的贡献在于在单一审计中对这三个轴进行分级，通过最弱环节聚合，并在审计者本身也是代理时应用相同的标准。我们通过将可靠性工程中的共同原因故障的β因子模型移植到模型中，给出一个正式基础，提出一个七步协议，其输出可由第三方验证，并对一个在三个等级上审计的采购控制代理进行结构可检测性分析，以及对该模型的蒙特卡洛研究，发现常规内部审计仅能发现5.9%的潜在故障，并且在一半的故障类别中完全未能发现。我们将三重映射到修订后的欧盟AI法案、ISO/IEC 42006、英国公共部门风险管理指南和审计监管实践中。
🔬 方法详解
问题定义：本文旨在解决代理AI系统审计中的独立性评估问题，现有方法未能充分考虑独立性的多维特性，导致审计结果的可靠性不足。
核心思路：论文提出通过主体独立性、基底独立性和证据独立性三个维度对审计进行分级，以便更全面地评估审计的有效性和可靠性。
技术框架：整体架构包括七步审计协议，首先定义审计目标，然后评估每个独立性维度，最后聚合结果并进行验证。主要模块包括审计设计、数据收集、证据验证和结果分析。
关键创新：最重要的创新在于将独立性视为一个多维度的概念，而非简单的二元分类，这使得审计结果更具可信度和适用性。
关键设计：在协议中，设置了明确的参数以评估每个独立性维度，并采用结构可检测性分析和蒙特卡洛模拟来验证审计结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，常规内部审计仅能发现5.9%的潜在故障，并且在一半的故障类别中完全未能发现。这表明传统审计方法在识别代理AI系统中的问题时存在显著局限性，强调了新模型的重要性和必要性。
🎯 应用场景
该研究的潜在应用领域包括人工智能系统的审计、合规性检查和风险管理，尤其是在金融、医疗和公共服务等高风险行业。通过提供更精细的审计标准，可以提高AI系统的透明度和信任度，促进其在各行业的广泛应用。
📄 摘要（原文）
Agentic AI systems plan, invoke tools and act with limited supervision; they are now both the subject of audits and, increasingly, the auditor. Independence, the foundation of assurance,is still applied to them as a binary. We argue that it must be graded along three orthogonal axes: principal independence (who controls the auditor), substrate independence (an auditor sharing the auditee's foundation-model family, toolchain or guardrails fails with it) and evidence independence (whether evidence is attestable rather than self-reported). Each axis has precedent; the contribution is to grade all three on a single audit, aggregate them by the weakest link, and apply the same rubric when the auditor is itself an agent. We give the model a formal basis by transplanting the beta-factor model of common-cause failure from reliability engineering, a seven-step protocol whose outputs a third party can verify, a structural detectability analysis of a procurement-controls agent audited at three grades, and a Monte Carlo study of the model in which a conventional internal audit of an agent-a real audit team, a second agent, provider logsp-surfaces 5.9% of the faults it could in principle see and none at all in half the fault classes. We map the triple to the EU AI Act as amended, ISO/IEC 42006, UK public-sector risk-management guidance and audit-regulator practice.