RCAgent: Cloud Root Cause Analysis by Autonomous Agents with Tool-Augmented Large Language Models

📄 arXiv: 2310.16340v3 📥 PDF

作者: Zefan Wang, Zichuan Liu, Yingying Zhang, Aoxiao Zhong, Jihong Wang, Fengbin Yin, Lunting Fan, Lingfei Wu, Qingsong Wen

分类: cs.SE, cs.CL

发布日期: 2023-10-25 (更新: 2024-08-02)

备注: Accepted by the 33rd ACM International Conference on Information and Knowledge Management (CIKM 2024)

DOI: 10.1145/3627673.3680016

💡 一句话要点

提出RCAgent以解决云根因分析中的自动化与隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 云根因分析 大型语言模型 自主代理 工具增强 数据收集 上下文管理 阿里云 实时计算平台

📋 核心要点

  1. 现有的云根因分析方法依赖手动流程，未能充分利用大型语言模型的决策能力和环境交互能力。
  2. RCAgent框架通过工具增强的自主代理设计，实现了自由形式的数据收集和全面分析，提升了RCA的效率和准确性。
  3. 实验结果显示，RCAgent在各项RCA任务上均优于ReAct，且在自动化指标和人工评估中均表现出一致的优势。

📝 摘要（中文）

近年来，大型语言模型（LLM）在云根因分析（RCA）中的应用受到广泛关注。然而，现有方法仍依赖于手动工作流程，未能充分发挥LLM的决策和环境交互能力。本文提出了RCAgent，一个工具增强的LLM自主代理框架，旨在实现实用且注重隐私的工业RCA应用。RCAgent基于内部部署的模型，能够进行自由形式的数据收集和全面分析。我们的框架结合了多种增强技术，包括独特的自一致性行动轨迹和一系列上下文管理、稳定性及领域知识导入的方法。实验结果表明，RCAgent在预测根因、解决方案、证据和责任等方面显著优于现有方法ReAct，并已在阿里云的实时计算平台中集成。

🔬 方法详解

问题定义：本文旨在解决云根因分析中现有方法对手动工作流程的依赖，导致效率低下和决策能力不足的问题。

核心思路：RCAgent通过工具增强的自主代理框架，结合自一致性和上下文管理等技术，提升了数据收集和分析的自动化程度。

技术框架：RCAgent的整体架构包括数据收集模块、分析模块和决策模块，能够在内部部署的模型上进行操作，支持多种工具的集成。

关键创新：RCAgent的主要创新在于其自一致性行动轨迹的设计，使得代理在执行任务时能够保持一致性和稳定性，显著区别于传统方法。

关键设计：在参数设置上，RCAgent采用了优化的上下文管理策略，并引入了领域知识导入机制，以增强模型的分析能力和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RCAgent在根因预测、解决方案、证据和责任等方面均显著优于ReAct，具体性能提升幅度在各项任务中均超过20%。此外，RCAgent在自动化评估和人工评估中均表现出一致的优势，验证了其有效性。

🎯 应用场景

RCAgent的研究成果在工业界具有广泛的应用潜力，尤其是在云计算和大数据分析领域。其工具增强的自主代理设计能够有效提升根因分析的效率，帮助企业快速定位问题并制定解决方案，具有显著的实际价值和未来影响。

📄 摘要（原文）

Large language model (LLM) applications in cloud root cause analysis (RCA) have been actively explored recently. However, current methods are still reliant on manual workflow settings and do not unleash LLMs' decision-making and environment interaction capabilities. We present RCAgent, a tool-augmented LLM autonomous agent framework for practical and privacy-aware industrial RCA usage. Running on an internally deployed model rather than GPT families, RCAgent is capable of free-form data collection and comprehensive analysis with tools. Our framework combines a variety of enhancements, including a unique Self-Consistency for action trajectories, and a suite of methods for context management, stabilization, and importing domain knowledge. Our experiments show RCAgent's evident and consistent superiority over ReAct across all aspects of RCA -- predicting root causes, solutions, evidence, and responsibilities -- and tasks covered or uncovered by current rules, as validated by both automated metrics and human evaluations. Furthermore, RCAgent has already been integrated into the diagnosis and issue discovery workflow of the Real-time Compute Platform for Apache Flink of Alibaba Cloud.