Lessons from Penetration Tests on Large-Scale Agent Systems
作者: Kevin Eykholt, Dhilung Kirat, Xiaokui Shu, Jiyong Jang, Frederico Araujo, Ian Molloy
分类: cs.CR, cs.AI
发布日期: 2026-05-26
备注: Accepted at SAGAI 2026
💡 一句话要点
大规模Agent系统渗透测试揭示的安全漏洞及改进措施
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: AI Agent安全 渗透测试 安全漏洞 专有系统 安全评估
📋 核心要点
- 现有AI Agent系统存在安全漏洞，但漏洞类型与传统计算系统类似，开发者需关注跨层交互带来的安全风险。
- 通过对专有Agent产品进行渗透测试，评估其在严格开发标准下的安全态势，并与先前研究进行对比。
- 研究结果揭示了专有Agent系统中存在的安全弱点，并评估了自先前评估以来AI Agent安全态势的改进情况。
📝 摘要（中文）
随着AI系统自主性和执行能力的增强，发现的安全漏洞数量持续增加。然而，许多漏洞并非根本性的创新，而是反映了先前计算系统中长期存在的弱点。具有执行能力的AI Agent实际上是无界限的、自我修改的程序，与计算堆栈的多个层广泛交互。这种广泛的交互界面给开发者带来了巨大的安全负担，他们必须推理和保护复杂的跨层行为。先前的研究主要集中在开源Agent和Agent框架中的漏洞。相比之下，在更严格的编码标准和正式审查流程下开发的专有Agent系统是否表现出类似的安全弱点仍然不清楚。本文介绍了2025年对专有Agent产品进行的两次渗透测试的结果，并评估了自这些评估以来AI Agent的安全态势是否有所改善。
🔬 方法详解
问题定义：论文旨在评估大规模专有AI Agent系统的安全性，并确定其是否存在与开源Agent系统类似的安全漏洞。现有研究主要集中在开源Agent系统的安全问题上，而对于在更严格的编码标准和正式审查流程下开发的专有Agent系统，其安全态势尚不清楚。因此，需要通过渗透测试来评估专有Agent系统的安全性，并了解其安全态势是否有所改善。
核心思路：论文的核心思路是通过模拟真实攻击场景，对专有AI Agent系统进行渗透测试，以发现潜在的安全漏洞。通过分析渗透测试的结果，可以了解专有Agent系统的安全弱点，并评估其安全态势。同时，可以将渗透测试的结果与先前对开源Agent系统的研究进行对比，以了解专有Agent系统在安全性方面是否有所改进。
技术框架：论文采用了渗透测试的方法来评估专有AI Agent系统的安全性。渗透测试通常包括以下几个阶段：信息收集、漏洞扫描、漏洞利用和后渗透维持。在信息收集阶段，研究人员会收集关于目标系统的各种信息，例如系统架构、软件版本和网络配置。在漏洞扫描阶段，研究人员会使用自动化工具来扫描目标系统，以发现潜在的安全漏洞。在漏洞利用阶段，研究人员会尝试利用发现的漏洞来获取对目标系统的访问权限。在后渗透维持阶段，研究人员会尝试在目标系统中建立持久性的访问通道，以便在将来可以再次访问该系统。
关键创新：论文的关键创新在于对大规模专有AI Agent系统进行了渗透测试，这在之前的研究中较少涉及。通过对专有Agent系统进行渗透测试，可以了解其在实际应用场景中的安全风险，并为开发者提供有价值的安全建议。此外，论文还对渗透测试的结果进行了分析，并评估了自先前评估以来AI Agent安全态势的改进情况。
关键设计：论文中没有详细描述渗透测试的具体技术细节，例如使用的渗透测试工具、漏洞利用方法和后渗透维持技术。这些技术细节可能因目标系统的具体情况而有所不同。此外，论文也没有提供关于专有AI Agent系统的具体信息，例如系统架构、软件版本和网络配置。这些信息可能涉及商业机密，因此无法公开。
🖼️ 关键图片
📊 实验亮点
论文展示了2025年对专有Agent产品进行的两次渗透测试结果，但具体性能数据、对比基线和提升幅度等实验细节未在摘要中体现，需要在论文正文中查找。研究强调了即使在严格开发标准下，专有Agent系统仍然存在安全弱点。
🎯 应用场景
该研究成果可应用于评估和提升大规模AI Agent系统的安全性，帮助开发者识别和修复潜在的安全漏洞，降低AI系统被攻击的风险。研究结果对于制定AI安全标准和最佳实践具有重要参考价值，促进AI技术的安全可靠发展。
📄 摘要（原文）
As AI systems gain increasing autonomy and execution capability, the number of discovered security vulnerabilities continues to rise. However, many of these vulnerabilities are not fundamentally novel, but instead reflect recurring classes of weaknesses long observed in prior computing systems. Execution-capable AI agents are effectively unbounded, self-modifying programs that interact extensively with multiple layers of the computing stack. This broad interaction surface imposes a significant security burden on developers, who must reason about and secure complex cross-layer behaviors. Prior research has primarily focused on vulnerabilities in open-source agents and agent frameworks. In contrast, it remains unclear whether proprietary agent systems -- developed under stricter coding standards and formal review processes -- exhibit similar security weaknesses. In this paper, we present findings from two penetration tests conducted in 2025 against proprietary agent products and evaluate whether the security posture of AI agents has improved since these assessments.