XekRung Technical Report

📄 arXiv: 2605.00072v1 📥 PDF

作者: Jiutian Zeng, Junjie Li, Chengwei Dai, Jie Liang, Zhaoyu Hu, Yiliang Zhang, Ziang Weng, Longtao Huang, Dongjie Zhang, Libin Dong, Yang Ge, Yuanda Wang, Kaiwen Lv Kacuila, Bingyu Zhu, Jing Wang, Jin Xu

分类: cs.CR, cs.AI

发布日期: 2026-04-30

备注: 22 pages, 2 figures, 5 tables. Jiutian Zeng, Junjie Li, Chengwei Dai, Jie Liang, and Zhaoyu Hu contributed equally to this work

💡 一句话要点

XekRung：面向网络安全的先进大规模语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络安全 大规模语言模型 数据合成 持续预训练 监督微调 强化学习 安全分析 威胁检测

📋 核心要点

  1. 现有网络安全领域缺乏专门的大规模语言模型，限制了自动化安全分析和响应能力。
  2. XekRung通过数据合成、持续预训练、监督微调和强化学习，构建了强大的网络安全知识和推理能力。
  3. 实验表明，XekRung在网络安全基准测试中达到SOTA，并在通用基准测试中保持了竞争力。

📝 摘要（中文）

本文介绍了XekRung，一种前沿的用于网络安全的大规模语言模型，旨在提供全面的安全能力。为了实现这一目标，我们开发了多样化的、针对网络安全领域的数据合成流程，从而能够可扩展地构建高质量的训练数据，并为网络安全知识和理解奠定坚实的基础。在此基础上，我们建立了一个完整的训练流程，涵盖持续预训练（CPT）、监督微调（SFT）和强化学习（RL），以进一步扩展模型的能力。我们还引入了一个多维评估系统，以指导领域特定能力和通用能力的迭代改进。大量实验表明，XekRung在同等规模的模型中，在网络安全特定基准测试上实现了最先进的性能，同时保持了在通用基准测试上的强大性能。

🔬 方法详解

问题定义：论文旨在解决网络安全领域缺乏专用大规模语言模型的问题。现有通用LLM在处理网络安全任务时，缺乏足够的领域知识和专业技能，难以有效应对复杂的安全挑战。因此，需要构建一个专门针对网络安全的LLM，以提升自动化安全分析、威胁检测和响应能力。

核心思路：论文的核心思路是利用数据合成技术，构建大规模、高质量的网络安全领域训练数据，并在此基础上，通过持续预训练、监督微调和强化学习等技术，训练出一个具备强大网络安全知识和推理能力的LLM。通过领域数据增强和针对性训练，弥补通用LLM在网络安全领域的不足。

技术框架：XekRung的训练框架主要包含以下几个阶段：1) 数据合成：构建多样化的网络安全领域数据合成流程，生成高质量的训练数据。2) 持续预训练（CPT）：在合成数据上进行持续预训练，使模型具备初步的网络安全知识。3) 监督微调（SFT）：使用标注数据进行监督微调，提升模型在特定网络安全任务上的性能。4) 强化学习（RL）：使用强化学习进一步优化模型的性能，例如，提升模型在对抗环境下的鲁棒性。

关键创新：论文的关键创新在于：1) 领域数据合成：开发了专门针对网络安全领域的数据合成流程，解决了训练数据稀缺的问题。2) 多阶段训练策略：采用了持续预训练、监督微调和强化学习相结合的多阶段训练策略，充分利用了不同类型的数据，提升了模型的性能。3) 多维评估体系：构建了多维评估体系，全面评估模型在网络安全领域的性能，并指导模型的迭代改进。

关键设计：论文中关于数据合成流程的具体细节、损失函数的设计、强化学习奖励函数的设计等关键技术细节未在摘要中详细说明，属于未知信息。但可以推测，数据合成流程会针对不同类型的网络安全任务（如漏洞分析、恶意代码检测等）设计不同的合成方法。强化学习的奖励函数可能与模型的安全分析准确率、响应速度等指标相关。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

XekRung在网络安全特定基准测试中，相较于同等规模的模型，取得了最先进的性能（SOTA）。同时，该模型在通用基准测试中也保持了强大的性能，表明其在具备专业网络安全能力的同时，没有牺牲通用知识和推理能力。具体的性能提升幅度需要在论文全文中查找。

🎯 应用场景

XekRung可应用于自动化漏洞分析、恶意代码检测、威胁情报分析、安全事件响应等多个网络安全领域。该模型能够帮助安全专家更高效地识别和应对安全威胁，降低安全风险，提升整体网络安全防护水平。未来，XekRung有望成为网络安全防御体系的重要组成部分，实现更智能、更主动的安全防护。

📄 摘要（原文）

We present XekRung, a frontier large language model for cybersecurity, designed to provide comprehensive security capabilities. To achieve this, we develop diverse data synthesis pipelines tailored to the cybersecurity domain, enabling the scalable construction of high-quality training data and providing a strong foundation for cybersecurity knowledge and understanding. Building on this foundation, we establish a complete training pipeline spanning continued pre-training (CPT), supervised fine-tuning (SFT), and reinforcement learning (RL) to further extend the model's capabilities. We further introduce a multi-dimensional evaluation system to guide the iterative improvement of both domain-specific and general-purpose abilities. Extensive experiments demonstrate that XekRung achieves state-of-the-art performance on cybersecurity-specific benchmarks among models of the same scale, while maintaining strong performance on general benchmarks.