R-Log: Incentivizing Log Analysis Capability in LLMs via Reasoning-based Reinforcement Learning

📄 arXiv: 2509.25987v1 📥 PDF

作者: Yilun Liu, Ziang Chen, Song Xu, Minggui He, Shimin Tao, Weibin Meng, Yuming Xie, Tao Han, Chunguang Zhao, Jingzhou Du, Daimeng Wei, Shenglin Zhang, Yongqian Sun

分类: cs.SE, cs.AI

发布日期: 2025-09-30

💡 一句话要点

提出R-Log以解决LLMs在日志分析中的能力不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 日志分析 大型语言模型 推理学习 强化学习 自动化运维 模型优化 数据驱动

📋 核心要点

  1. 现有的日志分析方法依赖于直接监督微调，导致通用LLMs与专用日志数据之间的领域差异，造成过拟合和幻觉现象。
  2. R-Log通过模仿人类的逐步分析过程，结合强化学习优化模型，旨在提高模型的推理能力和泛化能力。
  3. 实验证明，R-Log在五个日志分析任务中表现优异，尤其在未见场景中提升幅度达到228.05%。

📝 摘要（中文）

现代软件系统中日志数据的复杂性日益增加，促使使用大型语言模型（LLMs）进行自动化日志分析。现有方法通常依赖于对日志标签对的直接监督微调（SFT），这加剧了通用LLMs与专用日志数据之间的领域差异，导致过拟合。此外，SFT的不平衡损失计算常常使得冗长的上下文压倒模型答案中的关键简洁细节，导致幻觉现象。为了解决这些问题，本文提出了R-Log，这是一种基于推理的范式，模拟人类工程师的结构化逐步分析过程。通过在模拟的运维环境中使用强化学习（RL）优化模型，直接奖励正确结果，从而减少幻觉。实证评估表明，R-Log在五个日志分析任务中优于现有方法，特别是在未见场景中提升达228.05%。

🔬 方法详解

问题定义：本文旨在解决现有日志分析方法中LLMs的能力不足，特别是过拟合和幻觉现象的问题。现有方法通过直接监督微调，导致模型在处理专用日志数据时表现不佳。

核心思路：R-Log的核心思路是模仿人类工程师的推理过程，通过结构化的分析步骤来提高模型的推理能力。通过强化学习优化模型，直接奖励正确的分析结果，从而减少幻觉现象。

技术框架：R-Log的整体架构包括两个主要阶段：首先在一个精心策划的数据集上进行冷启动，建立初始推理能力；然后通过强化学习进一步优化模型，使用联合奖励函数来提升性能。

关键创新：R-Log的主要创新在于引入了基于推理的强化学习方法，区别于传统的直接监督微调，能够更好地适应复杂的日志数据分析任务。

关键设计：在模型训练中，使用了2k+的推理轨迹数据集，并结合13种手动运维策略进行指导。损失函数设计上，采用了联合奖励机制，以平衡模型对关键细节的关注。

📊 实验亮点

R-Log在五个日志分析任务中的实验结果显示，模型在未见场景中的性能提升达228.05%。此外，R-Log-fast版本实现了5倍的速度提升，同时保持了93%的效果，显示出其在实际应用中的高效性和实用性。

🎯 应用场景

R-Log的研究成果在多个领域具有广泛的应用潜力，尤其是在软件运维、故障检测和系统监控等场景中。通过提高日志分析的自动化和准确性，R-Log能够帮助工程师更高效地处理复杂的日志数据，从而提升系统的可靠性和维护效率。未来，该技术可能会扩展到其他需要复杂数据分析的领域，如网络安全和大数据分析。

📄 摘要（原文）

The growing complexity of log data in modern software systems has prompted the use of Large Language Models (LLMs) for automated log analysis. Current approaches typically rely on direct supervised fine-tuning (SFT) on log-label pairs. However, this exacerbates the domain discrepancy between general-purpose LLMs and specialized log data, causing overfitting. Furthermore, SFT's imbalanced loss computation often allows lengthy contexts to overwhelm critical, concise details in model answers, leading to hallucinations. To address these limitations, we propose R-Log, a novel reasoning-based paradigm that mirrors the structured, step-by-step analytical process of human engineers. This approach enhances generalizability by learning the underlying rules behind conclusions. We further employ Reinforcement Learning (RL) to optimize the model within a simulated O&M environment, thereby reducing hallucinations by directly rewarding correct outcomes. R-Log is first cold-started on a curated dataset of 2k+ reasoning trajectories, guided by 13 strategies from manual O&M practices, to establish an initial reasoning capability. This ability is then refined via RL using a joint reward function. Empirical evaluations on real-world logs show that R-Log outperforms existing methods across five log analysis tasks, particularly in unseen scenarios (by 228.05%). We also designed R-Log-fast with 5x speedup while keeping 93% of the efficacy.