Strengthening Human-Centric Chain-of-Thought Reasoning Integrity in LLMs via a Structured Prompt Framework
作者: Jiling Zhou, Aisvarya Adeseye, Seppo Virtanen, Antti Hakkala, Jouni Isoaho
分类: cs.CR, cs.AI
发布日期: 2026-04-07
💡 一句话要点
提出结构化提示框架，增强LLM在安全分析中类人CoT推理的完整性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 思维链 提示工程 安全分析 网络安全 可解释性 DDoS攻击检测
📋 核心要点
- 现有CoT提示方法在安全敏感分析任务中可靠性不足，尤其是在结构化人工评估下。
- 提出结构化提示框架，通过显式推理控制缓解幻觉和推理漂移，增强可解释性。
- 在DDoS攻击检测案例中，推理能力提升高达40%，人类评估Cohen's k > 0.80，验证了鲁棒性。
📝 摘要（中文）
本文提出了一种结构化的提示工程框架，旨在增强大型语言模型（LLM）中思维链（CoT）推理的完整性，并提高本地LLM部署中安全威胁和攻击检测的可靠性。该框架包含16个因素，分为四个核心维度：(1)上下文和范围控制，(2)证据基础和可追溯性，(3)推理结构和认知控制，以及(4)安全特定分析约束。该框架通过引入显式的推理控制来缓解幻觉并防止推理漂移，同时增强安全敏感环境中的可解释性，而非启发式地优化提示的措辞。以SDN流量中的DDoS攻击检测作为案例研究，在结构化和非结构化提示条件下评估了多个模型系列。帕累托前沿分析和消融实验表明，推理能力得到了一致的提升（在较小模型中高达40%），并且在不同规模的模型中都获得了稳定的准确性提升。通过人类评估，获得了高度的评分者间一致性（Cohen's k > 0.80），证实了该方法的鲁棒性。结果表明，结构化提示是一种有效且实用的方法，可用于可靠且可解释的AI驱动的网络安全分析。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在安全分析任务中使用思维链（CoT）推理时，可靠性不足的问题。现有方法，如模型缩放和微调，虽然可以提高性能，但成本高昂、计算密集，且难以审计。传统的提示工程方法缺乏结构化的控制，容易产生幻觉和推理漂移，导致结果不可靠。
核心思路：论文的核心思路是通过结构化的提示工程，对LLM的推理过程进行显式控制，从而提高推理的完整性和可靠性。该方法不是简单地优化提示的措辞，而是从多个维度对推理过程进行约束，使其更加可控、可解释，并减少幻觉的产生。
技术框架：该框架包含16个因素，分为四个核心维度：(1)上下文和范围控制，用于明确任务范围和背景信息；(2)证据基础和可追溯性，要求LLM基于可靠的证据进行推理，并记录推理过程；(3)推理结构和认知控制，引导LLM按照预定的逻辑步骤进行推理，避免推理漂移；(4)安全特定分析约束，针对具体的安全分析任务，添加特定的约束条件。
关键创新：该论文的关键创新在于提出了一个结构化的提示工程框架，该框架不是简单地优化提示的措辞，而是从多个维度对LLM的推理过程进行约束，使其更加可控、可解释，并减少幻觉的产生。与现有方法相比，该框架更加轻量级、透明，且易于审计。
关键设计：框架的关键设计在于四个核心维度及其包含的16个因素。这些因素涵盖了推理过程的各个方面，从上下文的定义到证据的追溯，再到推理结构的控制，以及安全特定约束的添加。具体参数设置和损失函数未知，因为该方法主要侧重于提示工程而非模型训练。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用结构化提示框架可以显著提高LLM在DDoS攻击检测任务中的推理能力，在较小模型中提升高达40%。帕累托前沿分析表明，该方法在不同规模的模型中都获得了稳定的准确性提升。人类评估结果显示，评分者间一致性高（Cohen's k > 0.80），证实了该方法的鲁棒性。
🎯 应用场景
该研究成果可应用于各种安全分析场景，例如入侵检测、恶意软件分析、漏洞挖掘等。通过结构化提示，可以提高LLM在这些任务中的可靠性和可解释性，从而帮助安全分析人员更好地理解和应对安全威胁。该方法还可以用于其他需要高可靠性和可解释性的领域，例如金融风险评估、医疗诊断等。
📄 摘要（原文）
Chain-of-Thought (CoT) prompting has been used to enhance the reasoning capability of LLMs. However, its reliability in security-sensitive analytical tasks remains insufficiently examined, particularly under structured human evaluation. Alternative approaches, such as model scaling and fine-tuning can be used to help improve performance. These methods are also often costly, computationally intensive, or difficult to audit. In contrast, prompt engineering provides a lightweight, transparent, and controllable mechanism for guiding LLM reasoning. This study proposes a structured prompt engineering framework designed to strengthen CoT reasoning integrity while improving security threat and attack detection reliability in local LLM deployments. The framework includes 16 factors grouped into four core dimensions: (1) Context and Scope Control, (2) Evidence Grounding and Traceability, (3) Reasoning Structure and Cognitive Control, and (4) Security-Specific Analytical Constraints. Rather than optimizing the wording of the prompt heuristically, the framework introduces explicit reasoning controls to mitigate hallucination and prevent reasoning drift, as well as strengthening interpretability in security-sensitive contexts. Using DDoS attack detection in SDN traffic as a case study, multiple model families were evaluated under structured and unstructured prompting conditions. Pareto frontier analysis and ablation experiments demonstrate consistent reasoning improvements (up to 40% in smaller models) and stable accuracy gains across scales. Human evaluation with strong inter-rater agreement (Cohen's k > 0.80) confirms robustness. The results establish structured prompting as an effective and practical approach for reliable and explainable AI-driven cybersecurity analysis.