Large Language Models for Anomaly Detection in Computational Workflows: from Supervised Fine-Tuning to In-Context Learning

📄 arXiv: 2407.17545v1 📥 PDF

作者: Hongwei Jin, George Papadimitriou, Krishnan Raghavan, Pawel Zuk, Prasanna Balaprakash, Cong Wang, Anirban Mandal, Ewa Deelman

分类: cs.SE, cs.AI, cs.CL

发布日期: 2024-07-24

备注: 12 pages, 14 figures, paper is accepted by SC'24, source code, see: https://github.com/PoSeiDon-Workflows/LLM_AD

💡 一句话要点

利用大语言模型进行计算工作流异常检测：从监督微调到上下文学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 异常检测 计算工作流 监督微调 上下文学习 思维链 系统可靠性

📋 核心要点

  1. 传统规则方法在计算工作流异常检测中存在局限性，难以有效识别新型异常。
  2. 利用大语言模型学习复杂数据模式，通过监督微调和上下文学习两种方式进行异常检测。
  3. 实验结果表明，大语言模型在多个工作流数据集上展现出良好的异常检测性能。

📝 摘要（中文）

本文探讨了利用大型语言模型（LLM）进行计算工作流异常检测的方法，旨在提升系统可靠性和安全性。传统基于规则的方法难以检测新型异常，因此本文探索了两种利用LLM的方法：1) 监督微调（SFT），即在标记数据上微调预训练的LLM，将其用于句子分类以识别异常；2) 上下文学习（ICL），即通过包含任务描述和示例的提示来引导LLM进行少样本异常检测，而无需微调。论文评估了SFT模型的性能、效率和泛化能力，并探索了零样本和少样本ICL提示，以及通过思维链提示增强可解释性。在多个工作流数据集上的实验表明，LLM在复杂执行过程中的有效异常检测方面具有广阔的潜力。

🔬 方法详解

问题定义：论文旨在解决计算工作流中难以检测新型异常的问题。现有基于规则的方法依赖于预定义的规则，无法适应不断变化的异常模式，且需要大量人工维护。因此，需要一种能够自动学习复杂数据模式并有效检测新型异常的方法。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的语言理解和生成能力，将异常检测问题转化为文本分类或生成问题。通过监督微调或上下文学习，使LLM能够识别和区分正常和异常的工作流执行序列。

技术框架：论文主要探索了两种技术框架：1) 监督微调（SFT）：使用标记好的工作流数据（正常/异常）对预训练的LLM进行微调，使其能够对新的工作流执行序列进行分类。2) 上下文学习（ICL）：通过设计合适的提示（prompt），包含任务描述和少量示例，引导LLM在不进行微调的情况下进行异常检测。提示的设计包括零样本和少样本两种方式，并探索了思维链（Chain-of-Thought）提示以增强可解释性。

关键创新：论文的关键创新在于将大型语言模型应用于计算工作流异常检测，并探索了监督微调和上下文学习两种不同的方法。与传统的基于规则的方法相比，LLM能够自动学习复杂的数据模式，并具有更强的泛化能力。此外，论文还探索了思维链提示以增强模型的可解释性。

关键设计：在监督微调中，关键设计包括选择合适的预训练LLM、设计合适的输入格式（例如，将工作流执行序列转换为文本序列）、选择合适的损失函数（例如，交叉熵损失）以及调整超参数。在上下文学习中，关键设计包括设计有效的提示，包括任务描述、示例和思维链提示。提示的设计需要考虑如何有效地引导LLM理解异常检测任务，并提供足够的上下文信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了LLM在计算工作流异常检测中的有效性。结果表明，监督微调和上下文学习两种方法均能取得良好的性能。特别地，上下文学习在少样本情况下也能达到可观的检测精度，展现了LLM强大的泛化能力。此外，思维链提示能够有效提升模型的可解释性。

🎯 应用场景

该研究成果可应用于各种计算工作流的异常检测，例如科学计算、数据分析和云计算等领域。通过及早发现和诊断异常，可以提高系统的可靠性、安全性和效率，减少因异常导致的损失。未来，可以将该方法与其他异常检测技术相结合，进一步提升检测性能。

📄 摘要（原文）

Anomaly detection in computational workflows is critical for ensuring system reliability and security. However, traditional rule-based methods struggle to detect novel anomalies. This paper leverages large language models (LLMs) for workflow anomaly detection by exploiting their ability to learn complex data patterns. Two approaches are investigated: 1) supervised fine-tuning (SFT), where pre-trained LLMs are fine-tuned on labeled data for sentence classification to identify anomalies, and 2) in-context learning (ICL) where prompts containing task descriptions and examples guide LLMs in few-shot anomaly detection without fine-tuning. The paper evaluates the performance, efficiency, generalization of SFT models, and explores zero-shot and few-shot ICL prompts and interpretability enhancement via chain-of-thought prompting. Experiments across multiple workflow datasets demonstrate the promising potential of LLMs for effective anomaly detection in complex executions.