RedSage: A Cybersecurity Generalist LLM

📄 arXiv: 2601.22159v1 📥 PDF

作者: Naufal Suryanto, Muzammal Naseer, Pengfei Li, Syed Talal Wasim, Jinhui Yi, Juergen Gall, Paolo Ceravolo, Ernesto Damiani

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-01-29

备注: Accepted on ICLR 2026; Project page: https://risys-lab.github.io/RedSage/

💡 一句话要点

RedSage：一个面向网络安全的通用LLM，通过领域自适应预训练和智能体增强实现卓越性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络安全 大型语言模型 领域自适应 智能体增强 预训练 微调 开源 安全运营

📋 核心要点

  1. 现有网络安全辅助LLM存在隐私风险或缺乏领域知识，无法有效支持安全运营。
  2. RedSage通过收集网络安全数据进行预训练，并使用智能体模拟生成高质量微调数据，提升模型性能。
  3. 实验表明，RedSage在网络安全和通用LLM基准上均优于现有模型，证明了领域自适应的有效性。

📝 摘要（中文）

网络安全运营需要能够支持多样化工作流程且不暴露敏感数据的辅助LLM。现有解决方案要么依赖具有隐私风险的专有API，要么依赖缺乏领域自适应的开源模型。为了弥合这一差距，我们通过大规模网络过滤和手动收集高质量资源，整理了118亿token的网络安全领域持续预训练数据，涵盖框架、攻击技术和安全工具等28.6K个文档。在此基础上，我们设计了一个智能体增强流程，模拟专家工作流程，生成266K个多轮网络安全样本用于监督微调。结合通用开源LLM数据，这些资源使得RedSage的训练成为可能，这是一个开源、本地可部署的网络安全助手，具有领域感知预训练和后训练。为了严格评估模型，我们引入了RedSage-Bench，一个包含30K个多项选择题和240个开放式问答题的基准，涵盖网络安全知识、技能和工具专业知识。RedSage还在已建立的网络安全基准（例如，CTI-Bench、CyberMetric、SECURE）和通用LLM基准上进行了评估，以评估更广泛的泛化能力。在8B规模下，RedSage取得了持续更好的结果，在网络安全基准上超过基线模型高达+5.59分，在Open LLM Leaderboard任务上超过+5.05分。这些发现表明，领域感知的智能体增强和预/后训练不仅可以增强网络安全领域的专业知识，还有助于提高通用推理和指令遵循能力。所有模型、数据集和代码均已公开。

🔬 方法详解

问题定义：当前网络安全领域缺乏既能本地部署、保护数据隐私，又能有效支持安全运营的LLM。现有方案要么依赖闭源API，存在数据泄露风险；要么使用通用开源LLM，缺乏网络安全领域的专业知识，难以胜任复杂任务。

核心思路：RedSage的核心思路是利用领域自适应的预训练和智能体增强的微调，构建一个开源、可本地部署且具备专业网络安全知识的LLM。通过大规模收集和整理网络安全领域的数据，使模型具备领域知识；通过智能体模拟专家工作流程，生成高质量的微调数据，提升模型在实际任务中的表现。

技术框架：RedSage的训练流程主要包括三个阶段：1) 领域数据收集与预训练：收集大量网络安全相关的文本数据，用于持续预训练LLM，使其具备领域知识。2) 智能体增强数据生成：设计智能体模拟网络安全专家的工作流程，生成多轮对话数据，用于监督微调。3) 监督微调：使用智能体生成的数据和通用开源LLM数据，对预训练模型进行微调，提升模型在特定任务上的性能。

关键创新：RedSage的关键创新在于领域感知的智能体增强。不同于传统的通用LLM微调方法，RedSage利用智能体模拟专家工作流程，生成更贴近实际应用场景的高质量数据，从而显著提升模型在网络安全任务中的性能。这种方法能够有效弥补领域数据不足的问题，并使模型更好地理解和执行安全任务。

关键设计：在数据收集方面，RedSage采用了大规模网络过滤和手动收集相结合的方式，确保数据的质量和覆盖范围。在智能体增强方面，RedSage设计了多个智能体角色，模拟不同的安全专家，并定义了详细的工作流程和交互规则。在模型训练方面，RedSage采用了混合训练策略，结合领域数据和通用数据，避免模型过度拟合领域数据，同时保持通用能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RedSage在8B规模下，在网络安全基准测试中，性能超越基线模型高达+5.59分。同时，在Open LLM Leaderboard任务中，RedSage也取得了+5.05分的显著提升。这些结果表明，RedSage不仅在网络安全领域表现出色，同时也具备良好的通用推理和指令遵循能力。

🎯 应用场景

RedSage可应用于各种网络安全场景，例如威胁情报分析、漏洞评估、安全事件响应和安全策略制定。它能够帮助安全分析师更高效地完成任务，降低安全运营成本，并提高整体安全防护水平。未来，RedSage有望成为企业和组织构建自主可控安全能力的重要基石。

📄 摘要（原文）

Cybersecurity operations demand assistant LLMs that support diverse workflows without exposing sensitive data. Existing solutions either rely on proprietary APIs with privacy risks or on open models lacking domain adaptation. To bridge this gap, we curate 11.8B tokens of cybersecurity-focused continual pretraining data via large-scale web filtering and manual collection of high-quality resources, spanning 28.6K documents across frameworks, offensive techniques, and security tools. Building on this, we design an agentic augmentation pipeline that simulates expert workflows to generate 266K multi-turn cybersecurity samples for supervised fine-tuning. Combined with general open-source LLM data, these resources enable the training of RedSage, an open-source, locally deployable cybersecurity assistant with domain-aware pretraining and post-training. To rigorously evaluate the models, we introduce RedSage-Bench, a benchmark with 30K multiple-choice and 240 open-ended Q&A items covering cybersecurity knowledge, skills, and tool expertise. RedSage is further evaluated on established cybersecurity benchmarks (e.g., CTI-Bench, CyberMetric, SECURE) and general LLM benchmarks to assess broader generalization. At the 8B scale, RedSage achieves consistently better results, surpassing the baseline models by up to +5.59 points on cybersecurity benchmarks and +5.05 points on Open LLM Leaderboard tasks. These findings demonstrate that domain-aware agentic augmentation and pre/post-training can not only enhance cybersecurity-specific expertise but also help to improve general reasoning and instruction-following. All models, datasets, and code are publicly available.