More Questions than Answers? Lessons from Integrating Explainable AI into a Cyber-AI Tool

📄 arXiv: 2408.04746v1 📥 PDF

作者: Ashley Suh, Harry Li, Caitlin Kenney, Kenneth Alperin, Steven R. Gomez

分类: cs.HC, cs.AI

发布日期: 2024-08-08

备注: ACM CHI 2024 Workshop on Human-Centered Explainable AI (HCXAI)

💡 一句话要点

针对网络安全分析，探索可解释AI集成中的挑战与启示

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释AI 网络安全 源代码分类 人机协作 大型语言模型

📋 核心要点

  1. 现有XAI技术，如SHAP和LIME，在网络安全领域落地时，由于分析师缺乏AI专业知识，导致解释结果难以理解。
  2. 针对网络安全分析师的需求，XAI应提供更高级别、易于理解的解释，并尽量减少对现有工作流程的干扰。
  3. 大型语言模型（LLM）等新兴技术有望弥合当前XAI在实用性和有效性方面的差距，为网络安全分析提供更有效的支持。

📝 摘要（中文）

本文分享了在网络安全分析领域特定工作流程中实施可解释AI（XAI）的观察结果和挑战。具体而言，简要描述了一个关于使用XAI进行源代码分类的初步案例研究，其中准确评估和及时性至关重要。研究发现，尽管最先进的显著性解释技术（例如，SHAP或LIME）被宣传为面向非技术用户，但当由几乎没有AI专业知识的人解释时，其输出会丢失。此外，研究发现流行的XAI技术在实时人机协作工作流程中提供的见解较少，因为它们是事后的并且解释过于局部。相反，研究观察到，网络分析师需要更高级别、易于理解的解释，这些解释可以尽可能减少对其工作流程的干扰。本文概述了实用且有效的XAI中尚未解决的差距，然后探讨了大型语言模型（LLM）等新兴技术如何缓解这些现有障碍。

🔬 方法详解

问题定义：论文旨在解决网络安全分析师在使用可解释AI（XAI）工具时遇到的实际问题。现有XAI方法，如SHAP和LIME，虽然在理论上能够提供模型决策的解释，但在实际应用中，由于网络安全分析师缺乏AI背景知识，难以理解这些解释，导致XAI工具的效用大打折扣。此外，现有XAI方法通常是事后解释，且解释过于局部，无法满足网络安全分析师对实时性和全局性的需求。

核心思路：论文的核心思路是，XAI工具的设计需要充分考虑目标用户的知识背景和工作流程。针对网络安全分析师，XAI应该提供更高级别、易于理解的解释，避免使用过于技术化的术语和概念。同时，XAI应该能够提供实时、全局的解释，帮助分析师快速理解模型决策的整体逻辑。论文还探讨了利用大型语言模型（LLM）来生成更自然、更易于理解的解释的可能性。

技术框架：论文主要通过案例研究的方式来探索XAI在网络安全领域的应用。具体而言，论文选择源代码分类作为案例，评估现有XAI方法在解释源代码分类模型决策方面的效果。研究人员将XAI工具集成到网络安全分析师的现有工作流程中，观察分析师在使用XAI工具时的行为和反馈。基于这些观察和反馈，研究人员总结了现有XAI方法的不足之处，并提出了改进建议。

关键创新：论文的关键创新在于，它从实际用户的角度出发，评估了现有XAI方法在网络安全领域的应用效果。与以往的研究主要关注XAI方法的理论性能不同，论文更加关注XAI方法的实用性和易用性。论文的研究结果表明，现有XAI方法在实际应用中存在诸多问题，需要进行改进才能真正发挥其作用。

关键设计：论文没有提出新的XAI算法或模型，而是侧重于对现有XAI方法进行评估和分析。论文的关键设计在于，它将XAI工具集成到网络安全分析师的现有工作流程中，通过观察分析师的实际使用情况来评估XAI方法的效果。这种以用户为中心的设计方法能够更准确地反映XAI方法在实际应用中的优缺点。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

研究表明，现有XAI技术（如SHAP、LIME）在网络安全领域落地时，由于分析师缺乏AI专业知识，导致解释结果难以理解。分析师更需要高级别、易于理解的解释，且XAI应尽量减少对现有工作流程的干扰。该研究强调了XAI在实际应用中用户体验的重要性。

🎯 应用场景

该研究成果可应用于网络安全领域，帮助安全分析师更好地理解和信任AI驱动的安全工具，从而提高安全事件的检测和响应效率。此外，该研究也为其他领域的XAI应用提供了借鉴，强调了XAI设计需要充分考虑目标用户的知识背景和工作流程。

📄 摘要（原文）

We share observations and challenges from an ongoing effort to implement Explainable AI (XAI) in a domain-specific workflow for cybersecurity analysts. Specifically, we briefly describe a preliminary case study on the use of XAI for source code classification, where accurate assessment and timeliness are paramount. We find that the outputs of state-of-the-art saliency explanation techniques (e.g., SHAP or LIME) are lost in translation when interpreted by people with little AI expertise, despite these techniques being marketed for non-technical users. Moreover, we find that popular XAI techniques offer fewer insights for real-time human-AI workflows when they are post hoc and too localized in their explanations. Instead, we observe that cyber analysts need higher-level, easy-to-digest explanations that can offer as little disruption as possible to their workflows. We outline unaddressed gaps in practical and effective XAI, then touch on how emerging technologies like Large Language Models (LLMs) could mitigate these existing obstacles.