Calibrated Decision Models for Autonomous Penetration-Testing Harnesses: JEV and Laya as System One Decision Layers for LLM-Driven Pentest Agents
作者: Joas Antonio dos Santos Barbosa
分类: cs.CR, cs.AI, cs.SE
发布日期: 2026-09-24
备注: 21 pages, 5 figures, 11 tables, 4 code listings
💡 一句话要点
提出系统一决策模型以提升自主渗透测试的准确性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自主渗透测试 系统一决策模型 大型语言模型 网络安全 轻量级分类器 决策支持 模型校准
📋 核心要点
- 现有的自主渗透测试工具依赖大型语言模型进行决策，容易导致误报和资源浪费。
- 论文提出使用系统一决策模型作为轻量级分类器，以提供更为准确的决策支持。
- 通过案例研究，展示了系统一模型在严重性分布和运行时间上的优势，尽管未达到统计显著性。
📝 摘要（中文）
自主渗透测试工具利用大型语言模型（LLMs）进行侦察、利用和报告，但常常依赖这些模型确认发现、评估严重性和选择代理，这可能导致误报、严重性膨胀和计算资源浪费。本文探讨了轻量级非生成分类器——系统一决策模型如何支持这些决策。我们定义了四个决策点，并通过NeuroSploit案例研究比较了使用和不使用系统一模型的效果，讨论了多种训练方法及其对安全决策信任的影响，最后提出了一个领域适应的系统一模型Rave及其训练数据和评估协议。
🔬 方法详解
问题定义：本文旨在解决自主渗透测试中依赖大型语言模型导致的误报和严重性评估不准确的问题。现有方法在确认发现和选择代理时存在显著的局限性。
核心思路：论文提出使用系统一决策模型，这是一种轻量级的非生成分类器，能够返回经过校准的决策结果，从而提高决策的准确性和可靠性。
技术框架：整体架构包括四个主要决策点：发现裁定、严重性重新校准、代理修剪和确认循环。通过这些模块，系统一模型能够有效支持渗透测试的各个阶段。
关键创新：最重要的创新在于引入了系统一决策模型（如Jev和Laya），与传统依赖LLM的方式相比，能够提供更为精准的决策支持，减少误报和计算资源浪费。
关键设计：在模型设计中，采用了特定的参数设置和损失函数，确保模型在不同类型的数据上能够进行有效的分类和决策。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用系统一模型的渗透测试在严重性分布和运行时间上表现出明显优势，尽管未达到统计显著性，但在不同数据类型的评估中展现了更好的性能。这为未来的渗透测试工具设计提供了新的思路。
🎯 应用场景
该研究的潜在应用领域包括网络安全、渗透测试工具的开发和优化等。通过提高决策的准确性，能够有效降低安全风险，提升企业的网络防护能力，未来可能推动更多基于AI的安全解决方案的应用。
📄 摘要（原文）
Autonomous penetration-testing harnesses use large language models (LLMs) for reconnaissance, exploitation, and reporting, but often rely on those same models to confirm findings, grade severity, and select agents. This can lead to false positives, inflated severity, and wasted compute. We examine how System One decision models, lightweight non-generative classifiers that return typed, calibrated verdicts, can support these decisions. We make five contributions. First, we define four decision points: finding adjudication, severity recalibration, agent pruning, and confirmation loops. Second, we present an exploratory NeuroSploit case study comparing one run with TypeSafe System One (Jev) and one without it against a web target containing 13 vulnerabilities. Differences in severity distribution, runtime, and grading by exposed data type motivate the architecture but do not establish statistical significance. Third, we review published specifications for Jev, Jev-Ultrafast, and the open-source Laya without assuming that results from other benchmarks transfer to penetration testing. Fourth, we discuss RLHF, RLAIF, RLCD, and RLHV as training approaches and their implications for trust in security decisions. Finally, we propose Rave, a domain-adapted System One model, and outline its training data, evaluation protocol, and potential effect on harness assurance.