Small, Free, and Effective: Orchestrating Open-Weight Small Language Models to Outperform Single LLM for Malware Analysis

📄 arXiv: 2607.20216v1 📥 PDF

作者: Adel ElZemity, Shujun Li, Budi Arief

分类: cs.CR, cs.AI

发布日期: 2026-07-22

备注: To appear in Proceedings of the 29th International Symposium on Research in Attacks, Intrusions, and Defenses (RAID)

💡 一句话要点

提出小型语言模型协同分析以提升恶意软件检测效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 恶意软件分析 小型语言模型 协同学习 网络安全 证据驱动 多模型组合

📋 核心要点

  1. 现有的大型语言模型在恶意软件分析中表现优异，但其高昂的成本和封闭性限制了其在资源受限环境中的应用。
  2. 本文提出通过协同小型语言模型的组合，设计多种架构以提升对恶意软件引爆报告的分析能力。
  3. 实验结果显示，混合架构的准确率达到35.30%，超越了最强的网络安全专用基线（22.54%）和无证据基线（34.77%）。

📝 摘要（中文）

恶意软件分析需要快速解读复杂的引爆报告，涵盖文件系统、网络和进程行为。尽管大型语言模型（LLMs）在技术文物解读方面表现出色，但其封闭性和不断上升的API成本促使探索开放权重的替代方案。本文研究了小型语言模型（SLMs）协同组合是否能在恶意软件引爆报告的结构化问题上超越单一LLM的表现。通过在Meta的CyberSecEval恶意软件分析基准上测试多种模型，设计并评估了四种协同架构，结果表明，基于证据的协同显著提升了小型模型的表现。

🔬 方法详解

问题定义：本文旨在解决在恶意软件分析中，现有大型语言模型因成本和资源限制而难以广泛应用的问题。

核心思路：通过设计和评估小型语言模型的协同组合，探索其在恶意软件引爆报告分析中的有效性，旨在实现性能超越单一大型模型。

技术框架：整体架构包括四种主要的协同设计：多代理管道、对抗辩论框架、分层咨询系统和混合架构，分别处理证据收集与推理。

关键创新：最重要的创新在于通过证据驱动的协同机制，显著提升了小型模型在复杂分析任务中的表现，与传统单一模型方法形成鲜明对比。

关键设计：在实验中，采用了多种小型模型和网络安全预训练模型，设计了针对不同任务的证据收集和推理阶段，确保模型间的有效协作。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，混合架构（Qwen3-4B与Foundation-Sec-8B）在恶意软件分析中的整体准确率达到35.30%，显著超越了最强的网络安全专用基线（22.54%）和无证据基线（34.77%），展示了基于证据的协同方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括网络安全、恶意软件检测和信息安全等。通过提升小型语言模型的协同分析能力，能够为资源受限的环境提供高效的恶意软件分析解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Malware analysis demands rapid interpretation of complex detonation reports spanning filesystem, network, and process behaviours. While large language models (LLMs) demonstrate impressive capabilities for technical artifact interpretation, the opacity and escalating API costs of closed-weight frontier models motivate exploration of open-weight alternatives. However, many open-weight models are large, demanding significant compute resources and incurring non-trivial hosting costs that place them beyond reach for resource-constrained deployments. This paper investigates whether orchestrated ensembles of small language models (SLMs) can match or exceed single LLM performance on structured questions about malware detonation reports. We established baselines by testing eleven open-weight SLMs, three cyber security pre-trained models, and six frontier LLMs on Meta's CyberSecEval Malware Analysis benchmark. We then designed and evaluated four orchestration architectures: (i) a multi-agent pipeline that decomposes analysis into structured evidence-collection and reasoning stages, (ii) an adversarial debate framework in which two agents iteratively critique each other's reasoning, (iii) a hierarchical consultation system that pairs a general-purpose SLM with a cyber-specialised expert model, and (iv) a hybrid architecture that combines evidence-grounded pipelines with adversarial debate reasoning. The hybrid system (Qwen3-4B with Foundation-Sec-8B) achieved 35.30% overall accuracy, exceeding the strongest cyber-specialised baseline (22.54%) and the strongest ungrounded frontier baseline (34.77%); when given the same evidence pipeline, grounded Gemini remained the strongest configuration at 38.22%. These findings show that evidence-grounded orchestration can substantially improve the performance of collaborative SLMs for supporting interpretation of malware detonation reports.