LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models
作者: Aoxiao Zhong, Dengyao Mo, Guiyang Liu, Jinbu Liu, Qingda Lu, Qi Zhou, Jiesheng Wu, Quanzheng Li, Qingsong Wen
分类: cs.SE, cs.AI
发布日期: 2024-08-25
备注: Accepted by ACM KDD 2024
💡 一句话要点
LogParser-LLM：利用大语言模型高效解析日志，无需调参和标注数据。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 日志解析 大语言模型 系统监控 自动化运维 异常检测
📋 核心要点
- 现有日志解析方法难以应对现代系统复杂性和日志动态性，需要大量人工干预和调参。
- LogParser-LLM 结合语义和统计信息，利用 LLM 的上下文理解能力，实现无需训练和调参的日志解析。
- 在 LogPub 基准测试中，LogParser-LLM 仅需少量 LLM 调用，即可达到优于现有方法的解析准确率。
📝 摘要（中文）
日志是无处不在的数字足迹，在系统诊断、安全分析和性能优化中起着不可或缺的作用。从日志中提取可操作的见解，关键在于日志解析过程，该过程将原始日志转换为结构化格式以供下游分析。然而，现代系统的复杂性和日志的动态性给现有的自动解析技术带来了重大挑战。大语言模型（LLM）的出现提供了新的视野。凭借其广泛的知识和上下文能力，LLM 已经在各种应用中实现了变革。在此基础上，我们引入了 LogParser-LLM，一种与 LLM 功能集成的创新日志解析器。这种结合无缝地融合了语义洞察和统计细微差别，无需超参数调整和标记的训练数据，同时确保通过在线解析实现快速适应。此外，我们深入探讨了解析粒度的复杂挑战，提出了一种新的指标，并整合了人机交互，使用户能够根据其特定需求校准粒度。我们的方法通过在 Loghub-2k 和大规模 LogPub 基准上的评估得到了经验证明。在 LogPub 基准的评估中，涉及 14 个数据集，每个数据集平均包含 360 万条日志，我们的 LogParser-LLM 平均只需要 272.5 次 LLM 调用，即可实现 90.6% 的分组准确率 F1 分数和 81.1% 的解析准确率。这些结果证明了该方法的高效率和准确性，优于当前最先进的日志解析器，包括基于模式的、基于神经网络的和现有的 LLM 增强方法。
🔬 方法详解
问题定义：现有日志解析方法在面对复杂系统和动态日志时，需要大量的人工标注数据和超参数调整，难以适应新的日志格式，且解析精度有待提高。这些方法通常依赖于预定义的模式或统计特征，无法充分利用日志中的语义信息。
核心思路：LogParser-LLM 的核心思路是利用大语言模型（LLM）强大的语义理解和上下文推理能力，将日志解析问题转化为一个文本理解和生成任务。通过 LLM，可以直接从原始日志文本中提取关键信息，并生成结构化的日志模板，从而避免了传统方法中繁琐的特征工程和模型训练过程。
技术框架：LogParser-LLM 的整体框架主要包括以下几个阶段：1) 日志预处理：对原始日志进行清洗和格式化；2) LLM 调用：将预处理后的日志输入到 LLM 中，要求 LLM 提取日志模板；3) 模板后处理：对 LLM 生成的模板进行优化和校正；4) 粒度校准：通过人机交互，调整解析粒度以满足用户需求。
关键创新：LogParser-LLM 的最重要创新点在于将 LLM 引入到日志解析任务中，并设计了一种无需训练和调参的日志解析流程。与现有方法相比，LogParser-LLM 能够更好地利用日志中的语义信息，并具有更强的泛化能力和适应性。此外，该方法还提出了一种新的解析粒度评估指标，并支持人机交互的粒度校准。
关键设计：LogParser-LLM 的关键设计包括：1) 提示工程：设计合适的提示语，引导 LLM 提取准确的日志模板；2) 模板后处理规则：定义一系列规则，用于优化和校正 LLM 生成的模板，例如去除冗余字符、统一变量命名等；3) 粒度评估指标：提出一种基于信息熵的指标，用于评估解析粒度的合理性；4) 人机交互界面：设计友好的用户界面，方便用户调整解析粒度。
🖼️ 关键图片
📊 实验亮点
LogParser-LLM 在 LogPub 基准测试中表现出色，平均每个数据集（360万条日志）仅需 272.5 次 LLM 调用，即可达到 90.6% 的分组准确率 F1 分数和 81.1% 的解析准确率。这些结果显著优于现有的基于模式、神经网络和 LLM 增强的日志解析方法，证明了 LogParser-LLM 的高效性和准确性。
🎯 应用场景
LogParser-LLM 可广泛应用于系统监控、安全分析、故障诊断和性能优化等领域。它可以帮助运维人员快速理解和分析海量日志数据，及时发现和解决系统问题，提高系统的可靠性和稳定性。此外，该方法还可以应用于日志数据挖掘和知识发现，为企业决策提供支持。
📄 摘要（原文）
Logs are ubiquitous digital footprints, playing an indispensable role in system diagnostics, security analysis, and performance optimization. The extraction of actionable insights from logs is critically dependent on the log parsing process, which converts raw logs into structured formats for downstream analysis. Yet, the complexities of contemporary systems and the dynamic nature of logs pose significant challenges to existing automatic parsing techniques. The emergence of Large Language Models (LLM) offers new horizons. With their expansive knowledge and contextual prowess, LLMs have been transformative across diverse applications. Building on this, we introduce LogParser-LLM, a novel log parser integrated with LLM capabilities. This union seamlessly blends semantic insights with statistical nuances, obviating the need for hyper-parameter tuning and labeled training data, while ensuring rapid adaptability through online parsing. Further deepening our exploration, we address the intricate challenge of parsing granularity, proposing a new metric and integrating human interactions to allow users to calibrate granularity to their specific needs. Our method's efficacy is empirically demonstrated through evaluations on the Loghub-2k and the large-scale LogPub benchmark. In evaluations on the LogPub benchmark, involving an average of 3.6 million logs per dataset across 14 datasets, our LogParser-LLM requires only 272.5 LLM invocations on average, achieving a 90.6% F1 score for grouping accuracy and an 81.1% for parsing accuracy. These results demonstrate the method's high efficiency and accuracy, outperforming current state-of-the-art log parsers, including pattern-based, neural network-based, and existing LLM-enhanced approaches.