DeepFaith: Evidence-Grounded LLMs for Faithful Incident Reporting in Multi-Stage APT Defense

📄 arXiv: 2607.24348v1 📥 PDF

作者: Trung V. Phan, Tri Gia Nguyen, Thomas Bauschert

分类: cs.CR, cs.AI

发布日期: 2026-07-27

备注: This paper has been submitted to the IEEE International Conference on Network and Service Management (CNSM) 2026

💡 一句话要点

提出DeepFaith以解决多阶段APT防御中的报告可信性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高级持续性威胁 事件报告 可信性 证据驱动 自然语言生成 安全运营中心 多阶段防御

📋 核心要点

  1. 现有的APT防御系统输出往往难以被分析人员理解，缺乏可信性和支持证据。
  2. DeepFaith通过将结构化输出转化为自然语言报告，确保生成内容与底层证据一致，提升报告的可读性和可信性。
  3. 实验结果显示，DeepFaith的可信度从0.68提升至0.92，减少不支持的声明，从0.32降至0.08，时间一致性从0.6提升至0.88。

📝 摘要（中文）

高级持续性威胁（APTs）因其多阶段和隐蔽性而难以检测和解读。尽管现有的自主防御系统利用来源图和基于学习的模型进行检测和缓解，但其输出仍然以机器为导向，难以被分析人员理解。本文提出DeepFaith，一个基于证据的框架，用于多阶段APT防御中的可信事件报告。DeepFaith将自主防御和可解释性模块的结构化输出转化为与底层系统证据明确对齐的自然语言报告。该框架集成了统一的证据表示、基于证据的提示、关注可信性的生成和后生成验证，以确保所有生成的陈述都有支持。实验结果表明，DeepFaith在真实企业测试环境中显著提高了报告的可信度和时间一致性。

🔬 方法详解

问题定义：本文解决的问题是如何在多阶段APT防御中生成可信的事件报告。现有方法的痛点在于其输出往往缺乏对分析人员的可解释性，且生成的内容可能存在虚假或不支持的陈述。

核心思路：DeepFaith的核心思路是将自主防御系统的结构化输出与底层证据相结合，通过自然语言生成技术生成可信的报告。这样的设计旨在提高报告的可读性和准确性，使分析人员能够更好地理解和利用生成的信息。

技术框架：DeepFaith的整体架构包括四个主要模块：统一的证据表示、基于证据的提示、关注可信性的生成和后生成验证。首先，系统将证据进行统一表示；然后，通过基于证据的提示生成自然语言内容；接着，生成过程关注内容的可信性；最后，通过后生成验证确保所有生成的陈述都有支持。

关键创新：DeepFaith的最重要创新在于其证据驱动的生成机制，与现有方法相比，能够显著提高生成内容的可信性和可解释性。通过将结构化数据与自然语言生成结合，DeepFaith在生成报告时能够提供更强的支持证据。

关键设计：在关键设计方面，DeepFaith采用了特定的损失函数来优化生成内容的可信性，并利用特定的网络结构来处理证据表示和生成过程中的信息流。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeepFaith在实验中显著提高了报告的可信度，从0.68提升至0.92，减少了不支持的声明比例，从0.32降至0.08，同时时间一致性从0.6提升至0.88。这些结果表明，DeepFaith在生成报告的准确性和可读性方面优于现有的模板和LLM解决方案。

🎯 应用场景

DeepFaith的研究成果在网络安全领域具有广泛的应用潜力，特别是在安全运营中心（SOC）中。通过提供可靠、可解释的事件报告，DeepFaith能够帮助安全分析人员更有效地识别和响应高级持续性威胁。此外，该框架的设计理念也可以扩展到其他需要高可信度报告的领域，如医疗、金融等。

📄 摘要（原文）

Advanced Persistent Threats (APTs) are difficult to detect and interpret due to their multi-stage and stealthy nature. While recent autonomous defense systems leverage provenance graphs and learning-based models for detection and mitigation, their outputs remain largely machine-oriented and difficult for analysts to interpret. Large language models (LLMs) offer a promising interface for report generation, but often produce hallucinated or weakly grounded content. In this paper, we propose DeepFaith, an evidence-grounded framework for faithful incident reporting in multi-stage APT defense. DeepFaith transforms structured outputs from autonomous defense and explainability modules into natural-language reports that are explicitly aligned with underlying system evidence. The framework integrates a unified evidence representation, evidence-grounded prompting, faithfulness-aware generation, and post-generation verification to ensure that all generated statements are supported. Experiments in a realistic enterprise testbed demonstrate that DeepFaith improves faithfulness from 0.68 to 0.92, reduces unsupported claims from 0.32 to 0.08, and increases temporal consistency from 0.6 to 0.88, while maintaining concise reports and lower error rates than existing template-based and LLM-based solutions. These results show that evidence-grounded generation enables reliable, interpretable, and actionable reporting for security operations centers.