AgentBnB: A Browser-Based Cybersecurity Tabletop Exercise with Large Language Model Support and Retrieval-Aligned Scaffolding
作者: Arman Anwar, Zefang Liu
分类: cs.CL, cs.CR
发布日期: 2025-10-31
💡 一句话要点
AgentBnB：基于浏览器、大语言模型支持的网络安全桌面演练系统
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网络安全 桌面演练 大语言模型 检索增强 Bloom分类法
📋 核心要点
- 传统网络安全桌面演练资源消耗大、难以规模化，且内容通常是预先设定好的，缺乏灵活性。
- AgentBnB通过集成大语言模型队友和检索增强的认知辅助系统，提供个性化、按需的网络安全演练体验。
- 初步实验表明，AgentBnB比传统卡牌演练更具可扩展性，并提高了参与者使用意愿，但知识测验存在天花板效应。
📝 摘要（中文）
传统的网络安全桌面演练(TTXs)虽然提供了宝贵的培训，但通常是脚本化的、资源密集型的且难以扩展。我们介绍了AgentBnB，一个基于浏览器的Backdoors & Breaches游戏重构版本，它集成了大型语言模型队友和一个Bloom对齐的、检索增强的副驾驶(C2D2)。该系统将一个精选的语料库扩展为事实性、概念性、程序性和元认知片段，提供按需的、认知目标明确的提示。提示工程代理采用一种支架式阶梯，随着学习者信心的增长而逐渐消失。在一个有四名研究生的单人玩家试点中，参与者表示与物理卡牌相比，更倾向于使用基于代理的版本，并认为它更具可扩展性，尽管在一个简单的知识测验中出现了天花板效应。尽管存在样本量小、单人游戏焦点和语料库狭窄的局限性，但这些早期发现表明，大型语言模型增强的TTX可以提供轻量级的、可重复的实践，而无需传统演练的后勤负担。计划中的扩展包括多人游戏模式、遥测驱动的指导以及与更大队列的比较研究。
🔬 方法详解
问题定义：传统网络安全桌面演练（TTXs）存在资源密集、难以扩展、脚本化严重等问题，限制了其应用范围和效果。现有的演练方式难以提供个性化和适应性的学习体验，无法根据学习者的知识水平和学习进度进行调整。
核心思路：AgentBnB的核心思路是利用大型语言模型（LLM）和检索增强技术，构建一个基于浏览器的、可扩展的网络安全演练平台。通过LLM提供智能队友和认知辅助，实现个性化的学习体验，并降低演练的资源消耗和组织难度。
技术框架：AgentBnB系统主要包含以下几个模块：1) 基于浏览器的游戏界面，用于模拟网络安全场景；2) 大语言模型队友，通过prompt工程模拟真实的网络安全专家，与玩家进行互动；3) 检索增强的认知辅助系统（C2D2），基于Bloom分类法，将知识片段分为事实性、概念性、程序性和元认知四个层次，并根据玩家的需求提供相应的提示；4) 支架式教学模块，根据玩家的信心水平，逐步减少提示的频率和强度。
关键创新：AgentBnB的关键创新在于将大型语言模型和检索增强技术应用于网络安全桌面演练，实现了以下目标：1) 个性化学习：根据玩家的知识水平和学习进度，提供定制化的提示和反馈；2) 可扩展性：基于浏览器的平台降低了演练的资源消耗和组织难度，使其更容易推广和应用；3) 智能化：LLM队友可以模拟真实的网络安全专家，提供更真实的演练体验。
关键设计：C2D2系统中的知识片段是基于Bloom分类法进行组织的，每个片段都属于事实性、概念性、程序性和元认知四个层次之一。提示工程代理采用支架式教学策略，根据玩家的信心水平调整提示的频率和强度。具体来说，系统会根据玩家的答题情况和自我评估，动态调整提示的详细程度和出现频率，以帮助玩家逐步掌握相关知识和技能。
🖼️ 关键图片
📊 实验亮点
在一个包含四名研究生的单人玩家试点中，参与者表示与传统卡牌演练相比，更倾向于使用AgentBnB，并认为它更具可扩展性。尽管在一个简单的知识测验中出现了天花板效应，但这些结果表明，基于LLM的AgentBnB在网络安全培训方面具有潜力。
🎯 应用场景
AgentBnB可应用于网络安全教育、企业安全培训、攻防演练等领域。该系统能够降低网络安全培训的成本和门槛，提高培训效果，并为网络安全从业者提供一个轻量级的、可重复的实践平台。未来，AgentBnB有望成为网络安全人才培养的重要工具。
📄 摘要（原文）
Traditional cybersecurity tabletop exercises (TTXs) provide valuable training but are often scripted, resource-intensive, and difficult to scale. We introduce AgentBnB, a browser-based re-imagining of the Backdoors & Breaches game that integrates large language model teammates with a Bloom-aligned, retrieval-augmented copilot (C2D2). The system expands a curated corpus into factual, conceptual, procedural, and metacognitive snippets, delivering on-demand, cognitively targeted hints. Prompt-engineered agents employ a scaffolding ladder that gradually fades as learner confidence grows. In a solo-player pilot with four graduate students, participants reported greater intention to use the agent-based version compared to the physical card deck and viewed it as more scalable, though a ceiling effect emerged on a simple knowledge quiz. Despite limitations of small sample size, single-player focus, and narrow corpus, these early findings suggest that large language model augmented TTXs can provide lightweight, repeatable practice without the logistical burden of traditional exercises. Planned extensions include multi-player modes, telemetry-driven coaching, and comparative studies with larger cohorts.