What Information Contributes to Log-based Anomaly Detection? Insights from a Configurable Transformer-Based Approach
作者: Xingfang Wu, Heng Li, Foutse Khomh
分类: cs.SE, cs.AI, cs.LG
发布日期: 2024-09-30 (更新: 2025-03-11)
备注: 30 pages
💡 一句话要点
提出可配置Transformer的日志异常检测方法，探究不同信息对异常检测的贡献。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 日志异常检测 Transformer模型 可配置模型 序列数据 时间信息
📋 核心要点
- 现有日志异常检测方法未能充分区分不同类型日志信息（语义、序列、时间）对检测结果的影响。
- 提出一种可配置的Transformer模型，能够灵活地将不同类型的日志信息作为特征输入，并支持变长日志序列。
- 实验结果表明，事件发生信息对异常检测至关重要，而序列和时间信息在现有数据集上作用不明显。
📝 摘要（中文）
日志数据源于源代码中的日志记录语句，提供了软件应用和系统执行过程的洞察。目前先进的基于日志的异常检测方法通常利用深度学习模型来捕获日志数据中的语义或序列信息，并检测异常的运行时行为。然而，这些不同类型信息的影响尚不明确。此外，大多数现有方法忽略了日志数据中的时间戳，而时间戳可能提供细粒度的序列和时间信息。本文提出了一种可配置的基于Transformer的异常检测模型，该模型可以捕获日志数据中的语义、序列和时间信息，并允许我们将不同类型的信息配置为模型的特征。此外，我们使用不同长度的日志序列训练和评估所提出的模型，从而克服了现有方法依赖于固定长度或时间窗口日志序列作为输入的限制。利用提出的模型，我们进行了一系列实验，使用不同的输入特征组合来评估不同类型信息在异常检测中的作用。当处理不同长度的日志序列时，该模型可以获得与基线相比具有竞争力和持续稳定的性能。结果表明，事件发生信息在识别异常方面起着关键作用，而序列和时间信息对所研究的公共数据集上的异常检测影响不大。另一方面，研究结果也揭示了所研究的公共数据集的简单性，并强调了构建包含不同类型异常的新数据集以更好地评估异常检测模型性能的重要性。
🔬 方法详解
问题定义：现有基于日志的异常检测方法通常使用深度学习模型，但对日志中不同类型信息（如语义、序列、时间）的贡献缺乏深入理解。此外，许多方法忽略了时间戳信息，并且依赖于固定长度或时间窗口的日志序列，限制了其应用范围。
核心思路：本文的核心思路是通过构建一个可配置的Transformer模型，允许研究人员灵活地选择和组合不同类型的日志信息作为输入特征，从而评估它们对异常检测性能的影响。同时，该模型支持变长日志序列，避免了对输入长度的限制。
技术框架：该模型基于Transformer架构，主要包含以下模块：1) 输入嵌入层，用于将不同类型的日志信息（例如，日志事件ID、时间戳）转换为向量表示；2) Transformer编码器层，用于捕获日志序列中的上下文信息；3) 异常检测层，用于根据Transformer编码器的输出预测每个日志事件是否异常。整个流程包括数据预处理、模型训练和异常检测三个阶段。
关键创新：该方法的主要创新在于其可配置性，允许研究人员灵活地选择和组合不同类型的日志信息作为输入特征，从而深入分析它们对异常检测性能的影响。此外，该模型支持变长日志序列，避免了对输入长度的限制，使其更具通用性。
关键设计：模型使用标准的Transformer编码器结构，并针对日志数据进行了优化。关键设计包括：1) 使用不同的嵌入层来处理不同类型的日志信息；2) 可以选择是否使用时间戳信息作为输入特征；3) 使用交叉熵损失函数来训练模型，目标是最小化异常事件的预测误差。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的可配置Transformer模型在不同长度的日志序列上表现出竞争力和稳定性。关键发现是，事件发生信息在异常检测中起着关键作用，而序列和时间信息在所研究的公共数据集上影响不大。该研究还揭示了现有公共数据集的局限性，并强调了构建更具挑战性的数据集的重要性。
🎯 应用场景
该研究成果可应用于软件系统、云计算平台和物联网设备等领域的运行时异常检测。通过深入理解不同类型日志信息对异常检测的贡献，可以帮助开发人员构建更有效、更可靠的异常检测系统，从而提高系统的稳定性和安全性。未来的研究可以探索更复杂的日志信息组合和更先进的深度学习模型。
📄 摘要（原文）
Log data are generated from logging statements in the source code, providing insights into the execution processes of software applications and systems. State-of-the-art log-based anomaly detection approaches typically leverage deep learning models to capture the semantic or sequential information in the log data and detect anomalous runtime behaviors. However, the impacts of these different types of information are not clear. In addition, most existing approaches ignore the timestamps in log data, which can potentially provide fine-grained sequential and temporal information. In this work, we propose a configurable Transformer-based anomaly detection model that can capture the semantic, sequential, and temporal information in the log data and allows us to configure the different types of information as the model's features. Additionally, we train and evaluate the proposed model using log sequences of different lengths, thus overcoming the constraint of existing methods that rely on fixed-length or time-windowed log sequences as inputs. With the proposed model, we conduct a series of experiments with different combinations of input features to evaluate the roles of different types of information in anomaly detection. The model can attain competitive and consistently stable performance compared to the baselines when presented with log sequences of varying lengths. The results indicate that the event occurrence information plays a key role in identifying anomalies, while the impact of the sequential and temporal information is not significant for anomaly detection on the studied public datasets. On the other hand, the findings also reveal the simplicity of the studied public datasets and highlight the importance of constructing new datasets that contain different types of anomalies to better evaluate the performance of anomaly detection models.