System Log Parsing with Large Language Models: A Review
作者: Viktor Beck, Max Landauer, Markus Wurzenberger, Florian Skopik, Andreas Rauber
分类: cs.LG
发布日期: 2025-04-07 (更新: 2025-05-15)
备注: 36 pages, 11 figures
💡 一句话要点
综述：基于大语言模型的系统日志解析方法研究
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 日志解析 大语言模型 系统监控 异常检测 根本原因分析
📋 核心要点
- 现有日志解析方法难以有效处理海量且半结构化的日志数据，阻碍了自动化监控和故障诊断。
- 该综述系统性地整理和分析了基于大语言模型的日志解析方法，为研究人员提供全面的参考。
- 通过基准测试和对比分析，揭示了现有方法的优缺点，并为未来的研究方向提供了指导。
📝 摘要（中文）
日志数据为监控、根本原因分析和异常检测等任务提供了关键的洞察力。由于日志量巨大，自动日志解析对于将半结构化的日志消息转换为结构化表示至关重要。大语言模型（LLM）的最新进展催生了基于LLM的日志解析这一新的研究领域。尽管成果喜人，但对于这个相对较新的研究领域（最早的进展发表于2023年末）的方法，目前还没有结构化的综述。本文系统地回顾了29种基于LLM的日志解析方法，并对其中7种方法在公共数据集上进行了基准测试，同时批判性地评估了它们的可比性和报告结果的可重复性。我们的研究结果总结了这个新兴研究领域的进展，并提供了关于如何报告结果、使用哪些数据集、指标和术语，以及避免哪些不一致性的见解，同时为了透明起见，公开了代码和结果。
🔬 方法详解
问题定义：论文旨在解决系统日志解析问题，即将半结构化的日志消息转换为结构化数据，以便进行监控、根本原因分析和异常检测。现有方法在处理大规模、多样化的日志数据时存在效率和准确性方面的挑战，难以充分利用日志中蕴含的信息。
核心思路：论文的核心思路是对现有基于大语言模型的日志解析方法进行系统性的回顾、分析和评估。通过对不同方法的原理、性能和局限性进行深入研究，为研究人员提供一个全面的视角，并指导未来的研究方向。
技术框架：该综述没有提出新的技术框架，而是对现有方法进行分类和比较。主要包括以下几个方面：1) 方法概述：介绍每种方法的原理和特点；2) 实验评估：在公共数据集上进行基准测试，比较不同方法的性能；3) 结果分析：分析实验结果，总结方法的优缺点；4) 未来方向：探讨未来的研究方向和挑战。
关键创新：该综述的关键创新在于它是第一个对基于大语言模型的日志解析方法进行系统性回顾和评估的工作。它填补了该领域研究的空白，为研究人员提供了一个宝贵的资源。
关键设计：论文的关键设计在于选择了合适的基准数据集和评估指标，并对现有方法进行了公平的比较。此外，论文还对实验结果进行了深入的分析，并提出了有价值的建议。
🖼️ 关键图片
📊 实验亮点
该综述对29种基于LLM的日志解析方法进行了系统性回顾，并在公共数据集上对其中7种方法进行了基准测试。实验结果揭示了不同方法在性能、可比性和可重复性方面的差异，为研究人员提供了宝贵的参考。该研究还指出了现有研究中存在的一些问题，例如结果报告不规范、数据集和评估指标不统一等。
🎯 应用场景
该研究成果可应用于各种需要日志分析的场景，例如：云计算平台监控、网络安全事件分析、软件系统故障诊断等。通过自动化的日志解析，可以提高运维效率，降低故障排查成本，并提升系统的可靠性和安全性。未来，随着大语言模型的不断发展，基于LLM的日志解析方法将在更多领域发挥重要作用。
📄 摘要（原文）
Log data provides crucial insights for tasks like monitoring, root cause analysis, and anomaly detection. Due to the vast volume of logs, automated log parsing is essential to transform semi-structured log messages into structured representations. Recent advances in large language models (LLMs) have introduced the new research field of LLM-based log parsing. Despite promising results, there is no structured overview of the approaches in this relatively new research field with the earliest advances published in late 2023. This work systematically reviews 29 LLM-based log parsing methods. We benchmark seven of them on public datasets and critically assess their comparability and the reproducibility of their reported results. Our findings summarize the advances of this new research field, with insights on how to report results, which data sets, metrics and which terminology to use, and which inconsistencies to avoid, with code and results made publicly available for transparency.