Resource-Efficient Automatic Software Vulnerability Assessment via Knowledge Distillation and Particle Swarm Optimization

📄 arXiv: 2508.02840v2 📥 PDF

作者: Chaoyang Gao, Xiang Chen, Jiyu Wang, Jibin Wang, Guang Yang

分类: cs.LG, cs.CR

发布日期: 2025-07-30 (更新: 2025-08-08)

备注: Accepted by Engineering Applications of Artificial Intelligence

💡 一句话要点

提出基于知识蒸馏和粒子群优化的资源高效型软件漏洞自动评估框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 软件漏洞评估 知识蒸馏 粒子群优化 模型压缩 自动化安全

📋 核心要点

  1. 现有大型预训练模型在漏洞评估中表现出色，但计算和存储成本高昂，难以部署。
  2. 该论文提出一种基于知识蒸馏和粒子群优化的框架，将大型教师模型的知识迁移到小型学生模型。
  3. 实验表明，该方法在大幅降低模型大小的同时，保持了较高的准确率，并优于现有基线。

📝 摘要（中文）

软件系统日益复杂，导致网络安全漏洞激增，因此需要高效且可扩展的漏洞评估解决方案。然而，大型预训练模型在实际场景中的部署受到其巨大计算和存储需求的阻碍。为了解决这个问题，我们提出了一种新颖的资源高效框架，该框架集成了知识蒸馏和粒子群优化，以实现自动漏洞评估。我们的框架采用两阶段方法：首先，利用粒子群优化来优化紧凑型学生模型的架构，从而平衡计算效率和模型容量。其次，应用知识蒸馏将关键的漏洞评估知识从大型教师模型转移到优化的学生模型。这个过程显著减小了模型大小，同时保持了高性能。在增强的MegaVul数据集（包含12,071个CVSS v3注释的漏洞）上的实验结果证明了我们方法的有效性。我们的方法在模型大小减少99.4%的同时，保留了原始模型89.3%的准确率。此外，它在准确率方面比最先进的基线高出1.7%，参数减少了60%。与传统的遗传算法相比，该框架还将训练时间减少了72.1%，架构搜索时间减少了34.88%。

🔬 方法详解

问题定义：论文旨在解决软件漏洞自动评估中，大型预训练模型资源消耗过高，难以部署的问题。现有方法要么模型过于庞大，要么精度不足，无法满足实际应用的需求。

核心思路：论文的核心思路是利用知识蒸馏技术，将大型教师模型学习到的漏洞评估知识迁移到小型学生模型中，从而在保证精度的前提下，显著降低模型的计算和存储成本。同时，使用粒子群优化算法自动搜索最佳的学生模型架构。

技术框架：该框架包含两个主要阶段：1) 学生模型架构优化阶段：使用粒子群优化算法自动搜索最佳的学生模型架构，目标是平衡模型的计算效率和容量。2) 知识蒸馏阶段：将大型教师模型的知识迁移到优化后的学生模型中，利用教师模型的输出来指导学生模型的训练。

关键创新：该方法最重要的创新点在于将粒子群优化和知识蒸馏相结合，实现了自动化的资源高效型漏洞评估。与传统方法相比，该方法无需手动设计学生模型架构，并且能够更有效地将知识从教师模型迁移到学生模型。

关键设计：在粒子群优化阶段，需要定义合适的适应度函数，以评估不同学生模型架构的性能。在知识蒸馏阶段，需要选择合适的损失函数，例如KL散度，来衡量学生模型和教师模型输出之间的差异。此外，还需要仔细选择教师模型和学生模型的架构，以确保知识迁移的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在MegaVul数据集上实现了显著的性能提升。模型大小减少了99.4%，同时保留了原始模型89.3%的准确率。此外，该方法在准确率方面比最先进的基线高出1.7%，参数减少了60%。训练时间减少了72.1%，架构搜索时间减少了34.88%。

🎯 应用场景

该研究成果可应用于各种软件安全领域，例如自动化代码审计、漏洞挖掘和安全测试。通过降低漏洞评估的资源消耗，该方法可以帮助企业更有效地识别和修复软件漏洞，从而提高软件系统的安全性。未来，该方法还可以扩展到其他安全任务，例如恶意代码检测和网络入侵检测。

📄 摘要（原文）

The increasing complexity of software systems has led to a surge in cybersecurity vulnerabilities, necessitating efficient and scalable solutions for vulnerability assessment. However, the deployment of large pre-trained models in real-world scenarios is hindered by their substantial computational and storage demands. To address this challenge, we propose a novel resource-efficient framework that integrates knowledge distillation and particle swarm optimization to enable automated vulnerability assessment. Our framework employs a two-stage approach: First, particle swarm optimization is utilized to optimize the architecture of a compact student model, balancing computational efficiency and model capacity. Second, knowledge distillation is applied to transfer critical vulnerability assessment knowledge from a large teacher model to the optimized student model. This process significantly reduces the model size while maintaining high performance. Experimental results on an enhanced MegaVul dataset, comprising 12,071 CVSS (Common Vulnerability Scoring System) v3 annotated vulnerabilities, demonstrate the effectiveness of our approach. Our approach achieves a 99.4% reduction in model size while retaining 89.3% of the original model's accuracy. Furthermore, it outperforms state-of-the-art baselines by 1.7% in accuracy with 60% fewer parameters. The framework also reduces training time by 72.1% and architecture search time by 34.88% compared to traditional genetic algorithms.