Rethinking Penetration Testing for AI-Enabled Systems: From Resource Compromise to Behavioral Objective Violation
作者: Mohammad Allahbakhsh, Mohammad Hassan Bahari, Moslem Attar-Raouf
分类: cs.CR, cs.AI
发布日期: 2026-07-15
备注: 42 pages, 5 Tables, 21 references
💡 一句话要点
重新思考AI系统的渗透测试以解决行为目标违反问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)
关键词: 渗透测试 AI安全 行为评估 对抗性攻击 系统安全
📋 核心要点
- 现有的渗透测试方法主要关注基础设施的妥协，未能有效应对AI系统中行为目标的违反问题。
- 论文提出了一种新的渗透测试框架，强调通过行为评估而非基础设施妥协来识别对手的影响。
- 通过案例研究，展示了该方法在识别和评估AI系统中的对抗性行为方面的有效性和实用性。
📝 摘要（中文）
传统的渗透测试评估对手是否能够利用软件、基础设施、配置或操作控制中的弱点来实现安全相关的妥协。然而，这种范式在AI驱动的系统中已不再充分。对手可能通过影响提示、检索内容、传感器输入等方式改变系统行为，而无需直接妥协基础设施。本文将渗透测试重新框架为目标驱动的行为评估，定义了AI驱动的渗透测试，并提出了一种测试工作流程，以识别操作目标、映射AI驱动的行为、分析对抗影响面、定义行为失败标准等。通过一个AI安全运营中心助手的示例，展示了如何通过行为影响而非基础设施妥协来进行渗透测试。
🔬 方法详解
问题定义：本文旨在解决传统渗透测试在AI驱动系统中的不足，尤其是对手如何通过行为影响而非基础设施妥协来实现目标违反的问题。
核心思路：论文提出将渗透测试重新定义为目标驱动的行为评估，强调对AI驱动行为的评估，以识别潜在的对抗性路径。
技术框架：整体架构包括识别操作目标、映射AI驱动行为、分析对抗影响面、定义行为失败标准、执行基于场景的测试以及报告证据等主要模块。
关键创新：最重要的创新在于将渗透测试扩展到包括提示注入、数据中毒等对抗性路径，形成了一个更全面的评估框架。
关键设计：在测试工作流程中，关键参数包括操作目标的定义、行为映射的准确性以及对抗影响面的全面性，这些设计确保了测试的有效性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，新的渗透测试框架能够有效识别AI系统中的对抗性行为，成功检测到多种行为目标违反的场景。与传统方法相比，该框架在识别率和准确性上有显著提升，具体性能数据尚未披露。
🎯 应用场景
该研究的潜在应用领域包括AI安全、自动化系统监控和智能助手等。通过提供一种新的渗透测试框架，能够有效识别和评估AI系统中的对抗性行为，从而提升系统的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Penetration testing traditionally evaluates whether adversaries can exploit weaknesses in software, infrastructure, configurations, or operational controls to achieve security-relevant compromise. This paradigm remains necessary for AI-enabled systems, but it is no longer sufficient. In such systems, adversaries may influence prompts, retrieved content, sensor inputs, training data, memory, tools, or human-AI interaction loops to alter system behavior without directly compromising the underlying infrastructure. This paper reframes penetration testing for AI-enabled systems as objective-driven behavioral evaluation. We define an AI-enabled system as one in which learned models materially influence behavior affecting operational outcomes, and we define AI-enabled penetration as the feasible induction of AI-governed behavior that violates one or more operational objectives under an explicit threat model. This definition preserves conventional penetration testing while extending it to adversarial pathways such as prompt injection, indirect prompt injection, data poisoning, sensor manipulation, retrieval poisoning, tool misuse, and agentic misalignment. We further propose a testing workflow that identifies operational objectives, maps AI-governed behavior, analyzes adversarial influence surfaces, defines behavioral failure criteria, executes scenario-based tests, and reports evidence linking adversarial action to objective violation. A running example involving an AI-enabled security operations center assistant illustrates how penetration may occur through behavioral influence rather than infrastructure compromise. Together, the definitions, workflow, and example provide a technical framework for evaluating adversarial success in deployed AI-enabled systems.