MARS: Malware Analysis with Rule-Based Scoring of LLM Claims
作者: Hyeongjun Choi
分类: cs.CR, cs.AI
发布日期: 2026-10-07
备注: 17 pages, 3 figures, 12 tables
💡 一句话要点
提出MARS框架以优化恶意软件分析的分类准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 恶意软件分析 大型语言模型 直接分类 声明评分 网络安全 性能评估 政策修订
📋 核心要点
- 现有方法在恶意软件分类中存在准确性不足和性能波动的问题，尤其是在使用声明评分时。
- 论文提出的MARS框架通过直接分类与声明评分进行比较，旨在提高恶意软件分析的准确性和一致性。
- 实验结果表明，直接分类在所有模型中均优于声明评分，准确性提升幅度在3.7至20.9个百分点之间，且召回率更高。
📝 摘要（中文）
大型语言模型可以通过直接判决或外部政策评分的行为声明来对恶意软件进行分类。本文提出了MARS，一个恶意软件分类框架，并比较了直接分类与单次声明评分的效果。评估涵盖1195个PE和ELF二进制文件，结果显示直接分类在所有六个模型中均表现出更高的准确性，准确性优势在3.7到20.9个百分点之间。此外，直接分类在十个模型组合中实现了更高的恶意警报召回率，表明直接分类在需要判决时更具优势，同时保留的声明支持政策检查和修订。
🔬 方法详解
问题定义：本文旨在解决恶意软件分类中现有方法的准确性不足和性能波动问题，尤其是在使用声明评分的情况下。
核心思路：MARS框架通过直接分类与声明评分的比较，展示了直接分类在准确性和一致性上的优势，旨在优化恶意软件分析过程。
技术框架：MARS框架包括数据收集、模型分类、声明评分和结果评估四个主要模块，使用相同的证据收集器和静态证据包进行比较。
关键创新：最重要的创新在于通过直接分类实现更高的准确性和召回率，同时保留声明以支持政策的检查和修订，这与传统的声明评分方法形成鲜明对比。
关键设计：在实验中，采用了确定性规则作为基线，并通过对1195个二进制文件的评估，设置了多个模型组合以验证不同路径的准确性和召回率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，直接分类在所有六个模型中均表现出更高的准确性，准确性优势在3.7至20.9个百分点之间。此外，直接分类在十个模型组合中实现了更高的恶意警报召回率，表明其在恶意软件分析中的有效性。
🎯 应用场景
该研究的潜在应用领域包括网络安全、恶意软件检测和防御系统。MARS框架能够帮助安全专家更高效地识别和分类恶意软件，从而提升整体网络安全防护能力。未来，该框架可能会与其他安全工具集成，进一步增强恶意软件分析的自动化和准确性。
📄 摘要（原文）
Large language models can triage malware through direct verdicts or behavioral claims scored by an external policy. We present MARS, a malware triage framework, and compare direct classification with single-pass claim scoring using the same evidence collector and identical static evidence bundles for each model. The evaluation covers 1,195 PE and ELF binaries grouped into 1,001 near-duplicate clusters and six language models, with deterministic rules providing a baseline. Direct classification is more accurate for all six models. On samples with usable outputs from both paths, its accuracy advantage ranges from 3.7 to 20.9 percentage points, with all 95% cluster-bootstrap confidence intervals for the differences above zero. It also achieves higher malicious alert recall in ten of twelve platform and model combinations. Claim mediation provides no consistent reduction in performance variation across models. Separate subset studies find more consistent alert decisions for direct classification and a larger recall loss for the claim path when predefined indicator fields are removed. In a family identification probe, claims yield higher accuracy than verdict labels but lower accuracy than evidence text. Retained claims expose the inputs to verdict computation and permit policy revision without another model call. We reproduce archived verdicts exactly and apply a revised policy to the same records, including outputs from two additional models withdrawn by their provider. Under the evaluated claim taxonomy and additive policy, these results favor direct classification when only a verdict is required, while demonstrating that retained claims support explicit policy inspection and revision.