Benchmark Scores Are Pipeline-Dependent: A Reliability Audit of Cybersecurity LLM Benchmarks

📄 arXiv: 2609.08765v1 📥 PDF

作者: Aymene Berriche, Cathrine Shalby, Mohannad Alhanahnah, Yazan Boshmaf

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-09-08

💡 一句话要点

审计网络安全LLM基准，揭示评分依赖于评估管道

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络安全 大型语言模型 基准评估 评估管道 模型排名 系统性失败模式 可靠性审计

📋 核心要点

  1. 现有的LLM基准评分常被视为固定，然而实际结果却受到评估管道配置的影响，导致评分不稳定。
  2. 论文通过审计多个网络安全基准，提出将基准视为测量管道，以识别系统性失败模式并分析评分变化。
  3. 实验结果显示，单一管道选择可导致模型评分变化超过80个百分点，且在标准化评估下，模型排名普遍发生变化。

📝 摘要（中文）

大型语言模型（LLM）基准通常被视为固定数据集，然而其结果依赖于可配置的评估管道。本文审计了八个网络安全基准，涉及10个专有、开放权重和网络安全专用的LLM。通过将基准建模为测量管道，识别出15种系统性失败模式，发现单一管道选择可使模型评分变化超过80个百分点，并显著改变模型排名。在跨基准层面上，两个语义相似的任务对因评估惯例不兼容而排名不同。在标准化管道选择的评估框架下，10个模型中有9个在至少一个基准上排名变化至少三位。这些结果表明网络安全LLM基准评分依赖于管道，推动了管道感知审计作为可靠模型评估的核心要求。

🔬 方法详解

问题定义：本文旨在解决网络安全领域中LLM基准评分不稳定的问题，现有方法未能考虑评估管道对评分的影响，导致模型排名不可靠。

核心思路：论文提出将基准视为测量管道，通过审计不同的评估管道配置，识别出系统性失败模式，从而揭示评分的依赖性。

技术框架：整体架构包括基准审计、管道选择和模型评分三个主要模块。首先对不同的LLM进行评估，然后分析评分结果的变化，最后总结出管道对评分的影响。

关键创新：最重要的技术创新在于识别出15种系统性失败模式，并证明单一管道选择可导致评分变化超过80个百分点，这与传统方法的固定评分观念形成鲜明对比。

关键设计：在评估过程中，采用了标准化的评估框架，确保管道选择的一致性，同时保留任务语义，关键参数设置包括模型选择、评估标准和管道配置等。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，单一管道选择可使模型评分变化超过80个百分点，且在标准化评估下，10个模型中有9个在至少一个基准上排名变化至少三位。这一发现强调了评估管道选择对模型评分和排名的重要性。

🎯 应用场景

该研究的潜在应用领域包括网络安全模型的评估和优化，尤其是在需要可靠性和一致性的场景中。通过管道感知审计，研究者和开发者能够更准确地评估模型性能，从而提升网络安全防护能力。未来，这一方法可能扩展到其他领域的模型评估中，推动更广泛的应用。

📄 摘要（原文）

Large language model (LLM) benchmarks are often treated as fixed datasets with stable scores, yet their outcomes depend on configurable evaluation pipelines. We audit eight cybersecurity benchmarks across 10 proprietary, open-weight, and cybersecurity-specialized LLMs. By modeling benchmarks as measurement pipelines, we identify 15 systematic failure modes and show that a single pipeline choice can change a model's score by more than 80 percentage points and substantially alter model rankings. At the cross-benchmark level, two semantically similar task pairs rank the same models differently because of incompatible evaluation conventions. Under an evaluation harness that standardizes pipeline choices while preserving task semantics, nine of 10 models shift by at least three ranks on at least one benchmark. These results show that cybersecurity LLM benchmark scores are pipeline-dependent and motivate pipeline-aware auditing as a core requirement for reliable model evaluation.