A Multi-Layer Cloud-IDS Pipeline with LLM and Adaptive Q-Learning Calibration

📄 arXiv: 2605.15889v1 📥 PDF

作者: Syed Waqas Ali, Ibrar Ali Shah, Farzana Zahid, Daniyal Munir, Hans D. Schotten

分类: cs.CR, cs.LG

发布日期: 2026-05-15

💡 一句话要点

提出基于LLM和自适应Q学习校准的多层云IDS流水线，提升云环境安全性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 入侵检测系统 云计算安全 强化学习 大型语言模型 自适应阈值 多层防御 语义分析

📋 核心要点

  1. 现有云IDS在动态环境中难以维持性能，且对未知攻击的检测能力有限，需要更智能的防御机制。
  2. 提出一种多层云IDS流水线，利用机器学习、强化学习和LLM，实现自适应阈值调整和语义分析，提升检测准确率。
  3. 实验结果表明，该系统能有效降低LLM调用成本，同时保持较高的检测精度、召回率和F1值，具有实际应用价值。

📝 摘要（中文）

由于分层云架构、动态环境以及未知或零日攻击的暴露，云计算中的安全性已成为一个主要问题。入侵检测系统(IDS)通常在特定层运行，并严重依赖机器学习模型，这些模型在实验环境中表现良好，但在实际云部署中无法维持性能。本文实现了一个针对云环境的、具有置信度感知的多层入侵检测系统，该系统保护网络、主机和虚拟机监控程序三个不同的层。每层的机器学习模型检测已知的攻击模式，而预测置信度区分可靠决策和不确定结果。在多门控流程中，低置信度事件通过学习阈值置信度门(Gate-1)，然后通过Chroma记忆匹配门(Gate-2)，未解决的事件升级到大型语言模型(LLM)进行语义分析和解释。Gate-3的最终攻击提升使用校准的LLM置信度或加权融合回退，而不确定的事件保留在审查桶中以避免强制分类。生成的解释和确认的知识存储在ChromaDB中，以支持未来的分析和再训练。该方法首先使用静态阈值进行评估，建立比较基线。结果表明，所提出的系统学习自适应阈值，并将LLM升级降低了58.78%，降低了成本，同时保持了强大的性能(88.68%的准确率，85.29%的精确率，84.72%的召回率，85.00%的F1)。网络层和虚拟机监控程序层分别实现了98.02%和97.08%的准确率，证明了一个平衡和高效的检测系统。

🔬 方法详解

问题定义：现有云入侵检测系统(IDS)在面对动态变化的网络环境和新型攻击时，存在泛化能力不足的问题。传统的机器学习模型在实验环境中表现良好，但在实际云部署中，由于数据分布变化和对抗性攻击，性能会显著下降。此外，对于未知或零日攻击，传统IDS往往难以有效识别和防御。

核心思路：本文的核心思路是构建一个多层、置信度感知的IDS流水线，结合机器学习、强化学习和大型语言模型(LLM)的优势，实现对云环境的全面安全防护。通过自适应调整检测阈值，降低误报率，并利用LLM进行语义分析，提高对未知攻击的识别能力。

技术框架：该系统包含三个主要层次：网络层、主机层和虚拟机监控程序层。每个层次都部署了机器学习模型，用于检测已知的攻击模式。当检测结果的置信度较低时，事件会依次通过两个门控：Gate-1使用学习到的阈值进行过滤，Gate-2使用ChromaDB进行记忆匹配。如果事件仍然无法确定，则会升级到LLM进行语义分析和解释。最终，Gate-3使用校准的LLM置信度或加权融合方法来决定是否将其判定为攻击。不确定的事件会被保留以供人工审查，并用于后续模型的再训练。

关键创新：该方法的主要创新点在于：1) 结合了机器学习、强化学习和LLM，构建了一个多层次的智能IDS流水线。2) 引入了置信度感知机制，能够区分可靠和不确定的检测结果，从而降低误报率。3) 利用强化学习自适应调整检测阈值，提高了系统的鲁棒性和泛化能力。4) 使用LLM进行语义分析，增强了对未知攻击的识别能力。

关键设计：该系统使用Q-learning算法来学习自适应阈值，目标是最大化检测准确率和降低LLM调用成本。LLM的置信度通过校准技术进行调整，以提高其可靠性。ChromaDB用于存储历史攻击知识和LLM生成的解释，以便进行后续分析和再训练。加权融合方法用于结合不同层次的检测结果，以提高整体的检测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该系统能够将LLM的调用次数降低58.78%，显著降低了成本，同时保持了较高的检测性能（准确率88.68%，精确率85.29%，召回率84.72%，F1值85.00%）。网络层和虚拟机监控程序层分别实现了98.02%和97.08%的准确率，表明该系统在不同层次上都具有良好的检测效果。

🎯 应用场景

该研究成果可应用于各种云计算环境，为云服务提供商和用户提供更强大的安全保障。通过自适应调整检测策略和利用LLM进行智能分析，可以有效应对日益复杂的网络攻击，降低安全风险，保护云端数据和应用的安全。

📄 摘要（原文）

Security in cloud computing has become a major concern due to several factors such as layered cloud architectures, dynamic environments, and exposure to unseen or zero-day attacks. Moreover, intrusion detection systems (IDS) typically operate at specific layers and rely heavily on machine learning models, which often perform well in experimental settings but fail to sustain performance in real cloud deployments. In this work, we implement a confidence-aware multilevel intrusion detection system using reinforcement learning tailored for cloud environments. The system secures three distinct layers: network, host, and hypervisor. Machine learning models at each layer detect known attack patterns, while prediction confidence distinguishes reliable decisions from uncertain outcomes. Within the multi-gate flow, low-confidence events pass through a learned-threshold confidence gate (Gate-1), followed by a Chroma memory-matching gate (Gate-2), with unresolved events escalated to a large language model (LLM) for semantic analysis and explanation. Final attack promotion at Gate-3 uses calibrated LLM confidence or weighted-fusion fallback, while uncertain events are retained in a review bucket to avoid forced classification. Generated explanations and confirmed knowledge are stored in ChromaDB to support future analysis and retraining. The approach is first evaluated using static thresholds, establishing a baseline for comparison. Results show that the proposed system learns adaptive thresholds and reduces LLM escalation by 58.78%, lowering cost while maintaining strong performance (88.68% accuracy, 85.29% precision, 84.72% recall, 85.00% F1). The network and hypervisor layers achieve 98.02% and 97.08% accuracy, demonstrating a balanced and efficient detection system.