AutoPentester: An LLM Agent-based Framework for Automated Pentesting

📄 arXiv: 2510.05605v1 📥 PDF

作者: Yasod Ginige, Akila Niroshan, Sajal Jain, Suranga Seneviratne

分类: cs.CR, cs.AI

发布日期: 2025-10-07

备注: IEEE TrustCom 2025 10 pages

💡 一句话要点

AutoPentester：基于LLM Agent的自动化渗透测试框架

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化渗透测试 LLM Agent 漏洞评估 网络安全 攻击策略生成

📋 核心要点

  1. 现有渗透测试工具（如PentestGPT）仍需大量人工交互，难以满足日益增长的需求。
  2. AutoPentester利用LLM Agent，根据工具输出动态生成攻击策略，模拟人工渗透测试流程。
  3. 实验表明，AutoPentester在子任务完成率和漏洞覆盖率上优于PentestGPT，且人工干预更少。

📝 摘要（中文）

渗透测试和漏洞评估是保护计算机系统的重要行业实践。随着网络威胁规模和复杂性的增长，对渗透测试的需求激增，超过了人工专业人员有效满足需求的能力。随着人工智能，特别是大型语言模型（LLM）的进步，已经出现了一些自动化渗透测试过程的尝试。然而，现有的工具（如PentestGPT）仍然是半手动的，需要大量专业人员的交互才能进行渗透测试。为此，我们提出了一种新颖的基于LLM Agent的框架AutoPentester，它可以自动执行渗透测试过程。给定目标IP，AutoPentester使用常见的安全工具以迭代方式自动执行渗透测试步骤。它可以根据前一次迭代的工具输出动态生成攻击策略，模仿人工渗透测试人员的方法。我们使用Hack The Box和定制的VM评估AutoPentester，并将结果与最先进的PentestGPT进行比较。结果表明，AutoPentester的子任务完成率提高了27.0%，漏洞覆盖率提高了39.5%，而步骤更少。最重要的是，与PentestGPT相比，它需要的人工交互和干预显著减少。此外，我们招募了一组安全行业专业志愿者进行用户调查，并进行定性分析，以评估AutoPentester与行业实践的对比，并将其与PentestGPT进行比较。平均而言，根据用户评论，AutoPentester获得了3.93分（满分5分），比PentestGPT高19.8%。

🔬 方法详解

问题定义：论文旨在解决渗透测试过程中人工参与过多、效率低下的问题。现有方法，如PentestGPT，虽然利用了LLM，但仍然需要大量的人工干预，无法实现完全自动化，难以应对日益增长的网络安全威胁。

核心思路：论文的核心思路是构建一个基于LLM Agent的自动化渗透测试框架，该框架能够自主地执行渗透测试的各个步骤，并根据工具的输出动态调整攻击策略，从而最大程度地减少人工干预。这种设计模仿了人类渗透测试人员的思维方式，使其能够适应不同的目标环境和安全漏洞。

技术框架：AutoPentester框架主要包含以下几个模块：目标识别模块（识别目标IP），漏洞扫描模块（使用Nmap等工具扫描漏洞），攻击策略生成模块（基于LLM根据扫描结果生成攻击策略），攻击执行模块（执行生成的攻击策略），以及结果分析模块（分析攻击结果并反馈给攻击策略生成模块进行迭代）。整个流程是一个迭代的过程，直到发现所有可能的漏洞或达到预设的迭代次数。

关键创新：AutoPentester的关键创新在于其完全自动化的渗透测试流程和动态攻击策略生成能力。与现有方法相比，AutoPentester无需人工干预即可完成渗透测试，并且能够根据实际情况调整攻击策略，从而提高渗透测试的效率和准确性。

关键设计：AutoPentester的关键设计包括LLM的选择（论文中未明确指出具体使用的LLM，但强调了其动态生成攻击策略的能力），工具的选择（使用了Nmap等常见的安全工具），以及迭代次数的设置（迭代次数决定了渗透测试的深度和广度）。此外，如何将工具的输出转化为LLM可以理解的输入，以及如何将LLM生成的攻击策略转化为可执行的命令，也是关键的设计细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AutoPentester在Hack The Box和定制VM上的实验结果表明，其子任务完成率比PentestGPT提高了27.0%，漏洞覆盖率提高了39.5%，同时所需的步骤更少，人工干预也显著减少。用户调查显示，AutoPentester的平均评分比PentestGPT高19.8%，表明其在实际应用中更受用户认可。

🎯 应用场景

AutoPentester可应用于企业安全自查、自动化漏洞挖掘、安全培训等领域。它可以帮助企业快速发现潜在的安全风险，降低人工渗透测试的成本，并提高安全防护水平。未来，该技术有望集成到云安全平台和DevSecOps流程中，实现持续的安全监控和自动化响应。

📄 摘要（原文）

Penetration testing and vulnerability assessment are essential industry practices for safeguarding computer systems. As cyber threats grow in scale and complexity, the demand for pentesting has surged, surpassing the capacity of human professionals to meet it effectively. With advances in AI, particularly Large Language Models (LLMs), there have been attempts to automate the pentesting process. However, existing tools such as PentestGPT are still semi-manual, requiring significant professional human interaction to conduct pentests. To this end, we propose a novel LLM agent-based framework, AutoPentester, which automates the pentesting process. Given a target IP, AutoPentester automatically conducts pentesting steps using common security tools in an iterative process. It can dynamically generate attack strategies based on the tool outputs from the previous iteration, mimicking the human pentester approach. We evaluate AutoPentester using Hack The Box and custom-made VMs, comparing the results with the state-of-the-art PentestGPT. Results show that AutoPentester achieves a 27.0% better subtask completion rate and 39.5% more vulnerability coverage with fewer steps. Most importantly, it requires significantly fewer human interactions and interventions compared to PentestGPT. Furthermore, we recruit a group of security industry professional volunteers for a user survey and perform a qualitative analysis to evaluate AutoPentester against industry practices and compare it with PentestGPT. On average, AutoPentester received a score of 3.93 out of 5 based on user reviews, which was 19.8% higher than PentestGPT.