Adapting Large Language Models to Log Analysis with Interpretable Domain Knowledge
作者: Yuhe Ji, Yilun Liu, Feiyu Yao, Minggui He, Shimin Tao, Xiaofeng Zhao, Su Chang, Xinhua Yang, Weibin Meng, Yuming Xie, Boxing Chen, Shenglin Zhang, Yongqian Sun
分类: cs.CL, cs.SE
发布日期: 2024-12-02 (更新: 2025-08-26)
备注: Accepted by CIKM 2025
💡 一句话要点
提出SuperLog，通过融入可解释领域知识持续预训练，提升LLM在日志分析任务中的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 日志分析 大型语言模型 领域自适应 持续预训练 可解释性 NLPLog数据集 故障诊断
📋 核心要点
- 现有LLM在日志分析中受限于自然语言与日志语言的领域差异，包含大量领域特定token，直接使用原始日志微调可能导致性能下降。
- 论文提出一种领域自适应方法，通过持续预训练（CPT）将可解释的领域知识融入LLM，缩小自然语言和日志语言的分布差异。
- 实验结果表明，提出的SuperLog模型在四个日志分析任务中取得了最佳性能，平均准确率比第二好的模型提高了12.01%。
📝 摘要（中文）
日志分析是AI应用中的一个关键子领域，它通过自动化方法促进大规模软件系统的故障和错误管理，从而节省了传统的手工劳动。现有的使用大型语言模型（LLM）的解决方案显示出潜力，但受到自然语言和日志语言之间显著领域差距的限制（后者包含丰富的领域特定token，如状态码、IP地址、资源路径），这限制了它们在实际应用中的有效性。直接使用原始日志来调整通用LLM可能会因token分布不一致而降低其性能。本文提出了一种领域自适应方法，通过将可解释的领域知识集成到开源LLM中进行持续预训练（CPT）来解决这些限制，通过在具有日志知识的可解释自然文本（而不是原始日志）上调整LLM来弥合领域差距，从而减少分布差异。为此，我们开发了NLPLog，一个包含超过25万个关于日志相关知识的问答对的综合数据集。我们最终的模型SuperLog在四个日志分析任务中实现了最佳性能，平均准确率比第二好的模型提高了12.01%。消融研究也表明，使用可解释的日志知识进行领域自适应优于使用原始日志。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在日志分析任务中表现不佳的问题。现有方法直接使用通用LLM或使用原始日志进行微调，但由于自然语言和日志语言之间存在显著的领域差异（例如，日志包含大量的状态码、IP地址等领域特定token），导致LLM无法有效理解和处理日志数据，从而限制了其在实际应用中的性能。
核心思路：论文的核心思路是通过领域自适应的方法，将可解释的领域知识融入到LLM中。具体来说，不是直接使用原始日志进行微调，而是构建一个包含日志相关知识的可解释自然文本数据集，并使用该数据集对LLM进行持续预训练（CPT）。这样做的目的是缩小自然语言和日志语言之间的分布差异，使LLM能够更好地理解和处理日志数据。
技术框架：整体框架包括以下几个主要步骤：1) 构建NLPLog数据集，该数据集包含超过25万个关于日志相关知识的问答对。2) 选择一个开源LLM作为基础模型。3) 使用NLPLog数据集对基础模型进行持续预训练（CPT），得到SuperLog模型。4) 在四个日志分析任务上评估SuperLog模型的性能。
关键创新：论文的关键创新在于提出了一种基于可解释领域知识的领域自适应方法。与直接使用原始日志进行微调的方法相比，该方法能够更好地缩小自然语言和日志语言之间的分布差异，从而提高LLM在日志分析任务中的性能。此外，NLPLog数据集的构建也是一个重要的贡献，它为LLM的日志分析研究提供了宝贵的数据资源。
关键设计：论文的关键设计包括：1) NLPLog数据集的构建，该数据集需要覆盖各种日志相关的知识，并以问答对的形式呈现，以便LLM能够更好地学习。2) 持续预训练（CPT）策略的选择，需要选择合适的预训练目标和超参数，以确保LLM能够有效地学习到日志相关的知识。3) 实验评估的设计，需要选择合适的日志分析任务和评估指标，以全面评估SuperLog模型的性能。
🖼️ 关键图片
📊 实验亮点
SuperLog模型在四个日志分析任务中取得了显著的性能提升，平均准确率比第二好的模型提高了12.01%。消融实验表明，使用可解释的日志知识进行领域自适应优于直接使用原始日志。这些结果表明，该方法能够有效地提高LLM在日志分析任务中的性能。
🎯 应用场景
该研究成果可应用于大规模软件系统的故障诊断、异常检测、安全事件分析等领域。通过自动化日志分析，可以显著降低人工成本，提高问题定位和解决效率，从而保障系统的稳定性和安全性。未来，该技术有望进一步扩展到其他领域，如网络安全、物联网等。
📄 摘要（原文）
Log analysis represents a critical sub-domain within AI applications that facilitates automatic approaches to fault and error management of large-scaled software systems, saving labors of traditional manual methods. While existing solutions using large language models (LLMs) show promise, they are limited by a significant domain gap between natural and log languages (the latter contains rich domain-specific tokens such as status codes, IP addresses, resource pathes), which restricts their effectiveness in real-world applications. However, directly adapting general-purpose LLMs to log analysis using raw logs may degrade their performance due to inconsistent token distribution. In this paper, we present a domain adaptation approach that addresses these limitations by integrating interpretable domain knowledge into open-source LLMs through continual pre-training (CPT), which bridges this domain gap by adapting LLMs on interpretable natural texts with log knowledge (instead of raw logs) to reduce distribution discrepancy. To achieve this, we developed NLPLog, a comprehensive dataset containing over 250,000 question-answer pairs on log-related knowledge. Our resulting model, SuperLog, achieves the best performance across four log analysis tasks, with an average accuracy improvement of 12.01% over the second-best model. Ablation study also suggests advantages of domain adaption using interpretable log knowledge over using raw logs.