AnomalyLLM: Few-shot Anomaly Edge Detection for Dynamic Graphs using Large Language Models

📄 arXiv: 2405.07626v2 📥 PDF

作者: Shuo Liu, Di Yao, Lanting Fang, Zhetao Li, Wenbin Li, Kaiyu Feng, XiaoWen Ji, Jingping Bi

分类: cs.LG, cs.AI

发布日期: 2024-05-13 (更新: 2024-08-28)

备注: 13pages

💡 一句话要点

AnomalyLLM：利用大语言模型进行动态图的少样本异常边检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态图 异常检测 大语言模型 少样本学习 图神经网络

📋 核心要点

  1. 现有动态图异常边检测方法依赖大量标注数据或仅能检测特定类型的异常，限制了其在实际场景中的应用。
  2. AnomalyLLM的核心思想是利用大语言模型中蕴含的知识，结合动态感知编码器和上下文学习框架，实现少样本异常检测。
  3. 实验结果表明，AnomalyLLM在少样本异常检测任务上显著优于现有方法，并且具备检测未知异常的能力。

📝 摘要（中文）

本文提出了一种名为AnomalyLLM的方法，旨在解决动态图中异常边的少样本检测问题。该问题旨在识别显著偏离正常模式的边，并可应用于网络安全、金融交易和AIOps等领域。随着时间的推移，异常边的类型不断涌现，而每种类型的标记异常样本很少。现有方法要么设计用于检测随机插入的边，要么需要足够的标记数据进行模型训练，这损害了它们在实际应用中的适用性。AnomalyLLM利用大语言模型(LLM)中编码的丰富知识，预训练一个动态感知编码器来生成边的表示，并使用词嵌入的原型重新编程这些边。此外，设计了一个上下文学习框架，该框架集成了少量标记样本的信息，以实现少样本异常检测。在四个数据集上的实验表明，AnomalyLLM不仅可以显著提高少样本异常检测的性能，而且可以在不更新模型参数的情况下，在新异常上取得优异的结果。

🔬 方法详解

问题定义：论文旨在解决动态图中异常边的检测问题，尤其是在标记数据稀缺的情况下。现有方法的痛点在于，要么需要大量的标注数据进行训练，这在实际应用中往往难以满足；要么只能检测预定义的异常类型，无法应对动态变化的新型异常。

核心思路：AnomalyLLM的核心思路是利用大语言模型（LLM）的先验知识，将动态图中的边表示与LLM的词嵌入空间对齐，从而实现知识迁移。通过少量标注样本进行上下文学习，使模型能够快速适应新的异常类型。这种方法避免了从头开始训练模型的需求，降低了对标注数据的依赖。

技术框架：AnomalyLLM的整体框架包括以下几个主要模块：1) 动态感知编码器：用于生成动态图中边的表示，捕捉边的动态变化特征。2) 原型重编程模块：将边的表示映射到LLM的词嵌入空间，利用词嵌入的原型信息增强表示能力。3) 上下文学习框架：利用少量标注样本构建上下文，指导LLM进行异常检测。整个流程是先使用动态感知编码器提取边的特征，然后通过原型重编程将其与LLM对齐，最后利用上下文学习框架进行异常检测。

关键创新：AnomalyLLM的关键创新在于将大语言模型引入到动态图异常边检测任务中，并设计了一种有效的上下文学习框架。与传统方法相比，AnomalyLLM无需大量标注数据即可实现高性能的异常检测，并且具备检测未知异常的能力。原型重编程模块也是一个重要的创新点，它能够将边的表示与LLM的知识进行有效融合。

关键设计：动态感知编码器可以使用各种图神经网络（GNN）结构，例如GCN、GAT等。原型重编程模块的关键在于选择合适的词嵌入原型，可以使用WordNet等知识库。上下文学习框架的设计需要考虑如何选择合适的上下文样本，以及如何将上下文信息融入到LLM的预测过程中。损失函数的设计也需要考虑如何平衡已知异常和未知异常的检测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AnomalyLLM在四个数据集上均取得了显著的性能提升。在少样本设置下，AnomalyLLM的性能优于现有方法，并且在检测未知异常方面表现出色，无需任何模型参数更新。具体而言，AnomalyLLM在某些数据集上的AUC指标提升了超过10%。

🎯 应用场景

AnomalyLLM在多个领域具有广泛的应用前景，例如网络安全领域可以用于检测恶意网络流量或异常用户行为；金融交易领域可以用于识别欺诈交易或洗钱活动；AIOps领域可以用于监控系统异常并进行故障诊断。该研究的实际价值在于降低了异常检测对标注数据的依赖，提高了检测效率和准确性，未来有望应用于更多实际场景。

📄 摘要（原文）

Detecting anomaly edges for dynamic graphs aims to identify edges significantly deviating from the normal pattern and can be applied in various domains, such as cybersecurity, financial transactions and AIOps. With the evolving of time, the types of anomaly edges are emerging and the labeled anomaly samples are few for each type. Current methods are either designed to detect randomly inserted edges or require sufficient labeled data for model training, which harms their applicability for real-world applications. In this paper, we study this problem by cooperating with the rich knowledge encoded in large language models(LLMs) and propose a method, namely AnomalyLLM. To align the dynamic graph with LLMs, AnomalyLLM pre-trains a dynamic-aware encoder to generate the representations of edges and reprograms the edges using the prototypes of word embeddings. Along with the encoder, we design an in-context learning framework that integrates the information of a few labeled samples to achieve few-shot anomaly detection. Experiments on four datasets reveal that AnomalyLLM can not only significantly improve the performance of few-shot anomaly detection, but also achieve superior results on new anomalies without any update of model parameters.