Cyber-Zero: Training Cybersecurity Agents without Runtime

📄 arXiv: 2508.00910v2 📥 PDF

作者: Terry Yue Zhuo, Dingmin Wang, Hantian Ding, Varun Kumar, Zijian Wang

分类: cs.CR, cs.CL, cs.LG

发布日期: 2025-07-29 (更新: 2025-08-25)

备注: Public Link: https://github.com/amazon-science/cyber-zero

💡 一句话要点

Cyber-Zero：无需运行时环境训练网络安全智能体，实现卓越性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络安全 大型语言模型 智能体训练 CTF 运行时环境 模拟 逆向工程

📋 核心要点

  1. 现有方法依赖运行时环境训练网络安全智能体，但在CTF等场景中，环境受限或短暂，难以应用。
  2. Cyber-Zero通过角色驱动的LLM模拟，利用公开CTF题解逆向工程运行时行为，生成逼真交互序列。
  3. 实验表明，使用Cyber-Zero训练的智能体在CTF基准测试中性能显著提升，达到甚至超越专有模型水平。

📝 摘要（中文）

大型语言模型（LLMs）在软件工程任务中取得了显著成功，尤其是在解决GitHub问题方面，这得益于可执行的运行时环境。然而，这种运行时环境在其他领域往往不可用，尤其是在网络安全领域，挑战配置和执行上下文是短暂的或受限制的。我们提出了Cyber-Zero，这是第一个无需运行时环境即可合成高质量智能体轨迹来训练网络安全LLM的框架。Cyber-Zero利用公开的CTF题解，并采用角色驱动的LLM模拟来逆向工程运行时行为，并在没有实际环境的情况下生成逼真的、长期的交互序列。使用Cyber-Zero合成的轨迹，我们训练了基于LLM的智能体，在三个著名的CTF基准测试（InterCode-CTF、NYU CTF Bench和Cybench）上，性能比基线模型提高了高达13.1%。我们最好的模型Cyber-Zero-32B，在开源模型中建立了新的最先进的性能，与DeepSeek-V3-0324和Claude-3.5-Sonnet等专有系统的能力相匹配，同时提供卓越的成本效益，并证明了无需运行时环境的轨迹合成可以有效地普及最先进的网络安全智能体的开发。

🔬 方法详解

问题定义：论文旨在解决网络安全领域中，由于缺乏可用的运行时环境，导致无法有效训练基于LLM的智能体的问题。现有方法依赖于实际的运行时环境进行训练，但在网络安全领域，特别是CTF（Capture The Flag）竞赛中，环境配置复杂、生命周期短，难以获取和维护，这限制了LLM在网络安全领域的应用。

核心思路：Cyber-Zero的核心思路是利用公开的CTF题解，通过LLM模拟攻击者和防御者的行为，生成高质量的训练轨迹，而无需实际的运行时环境。这种方法通过“逆向工程”运行时行为，从静态的题解中提取动态的交互信息，从而克服了环境依赖的问题。

技术框架：Cyber-Zero框架主要包含以下几个阶段：1) 数据收集：收集公开的CTF题解，这些题解包含了解决特定网络安全挑战的步骤和方法。2) 角色定义：定义攻击者和防御者的角色，并为每个角色赋予特定的目标和行为模式。3) LLM模拟：使用LLM模拟攻击者和防御者之间的交互过程，根据题解中的信息，生成一系列的动作和状态转移。4) 轨迹生成：将LLM模拟的交互过程转化为训练轨迹，包括状态、动作和奖励等信息。5) 智能体训练：使用生成的训练轨迹训练基于LLM的网络安全智能体。

关键创新：Cyber-Zero的关键创新在于提出了一个无需运行时环境的训练框架，通过LLM模拟生成高质量的训练数据。与传统的依赖运行时环境的训练方法相比，Cyber-Zero具有更高的灵活性和可扩展性，可以应用于各种网络安全场景。此外，Cyber-Zero还引入了角色驱动的LLM模拟，可以更真实地模拟攻击者和防御者的行为，从而提高训练数据的质量。

关键设计：Cyber-Zero的关键设计包括：1) 角色定义：精心设计攻击者和防御者的角色，确保LLM能够准确地模拟他们的行为。2) LLM提示工程：设计有效的LLM提示，引导LLM生成高质量的交互序列。3) 奖励函数设计：设计合理的奖励函数，鼓励智能体学习有效的攻击和防御策略。4) 模型选择：选择合适的LLM作为基础模型，并进行微调，以适应网络安全领域的特定任务。

🖼️ 关键图片

img_0

📊 实验亮点

Cyber-Zero在InterCode-CTF、NYU CTF Bench和Cybench三个CTF基准测试中，相比基线模型取得了高达13.1%的绝对性能提升。Cyber-Zero-32B模型在开源模型中达到了最先进的性能，与DeepSeek-V3-0324和Claude-3.5-Sonnet等专有模型的能力相媲美，同时具有更高的成本效益。

🎯 应用场景

Cyber-Zero具有广泛的应用前景，可用于自动化渗透测试、漏洞挖掘、安全策略制定和网络安全教育等领域。该研究降低了网络安全智能体开发的门槛，使得更多研究者和开发者能够参与到网络安全智能体的研究中来。未来，Cyber-Zero有望推动网络安全技术的进步，提高网络安全防御能力。

📄 摘要（原文）

Large Language Models (LLMs) have achieved remarkable success in software engineering tasks when trained with executable runtime environments, particularly in resolving GitHub issues. However, such runtime environments are often unavailable in other domains, especially cybersecurity, where challenge configurations and execution contexts are ephemeral or restricted. We present Cyber-Zero, the first runtime-free framework for synthesizing high-quality agent trajectories to train cybersecurity LLMs. Cyber-Zero leverages publicly available CTF writeups and employs persona-driven LLM simulation to reverse-engineer runtime behaviors and generate realistic, long-horizon interaction sequences without actual environments. Using trajectories synthesized by Cyber-Zero, we train LLM-based agents that achieve up to 13.1% absolute performance gains over baseline models on three prominent CTF benchmarks: InterCode-CTF, NYU CTF Bench, and Cybench. Our best model, Cyber-Zero-32B, establishes new state-of-the-art performance among open-weight models, matching the capabilities of proprietary systems like DeepSeek-V3-0324 and Claude-3.5-Sonnet while offering superior cost-effectiveness, and demonstrating that runtime-free trajectory synthesis can effectively democratize the development of state-of-the-art cybersecurity agents.