AgentCompass: Towards Reliable Evaluation of Agentic Workflows in Production

📄 arXiv: 2509.14647v1 📥 PDF

作者: NVJK Kartik, Garvit Sapra, Rishav Hada, Nikhil Pareek

分类: cs.AI, cs.CL

发布日期: 2025-09-18

💡 一句话要点

AgentCompass：面向生产环境中Agent工作流的可靠评估框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agent工作流 评估框架 大型语言模型 部署后监控 错误调试

📋 核心要点

  1. 现有Agent评估方法难以捕捉生产环境中复杂Agent工作流的错误、涌现行为和系统性故障。
  2. AgentCompass通过模拟专家调试器的推理过程，构建多阶段分析流程，实现Agent工作流的部署后监控和调试。
  3. AgentCompass在实际部署和TRAIL基准测试中表现出色，超越人工标注，验证了其有效性。

📝 摘要（中文）

随着大型语言模型（LLM）在自动化复杂、多Agent工作流中的日益普及，组织面临着来自错误、涌现行为和系统性故障的日益增长的风险，而当前的评估方法无法捕捉到这些风险。我们提出了AgentCompass，这是第一个专门为Agent工作流的部署后监控和调试而设计的评估框架。AgentCompass通过一个结构化的多阶段分析流程来模拟专家调试器的推理过程：错误识别和分类、主题聚类、定量评分和战略总结。该框架通过双重记忆系统（情景记忆和语义记忆）得到进一步增强，从而实现跨执行的持续学习。通过与设计伙伴的合作，我们展示了该框架在实际部署中的实用性，并在公开的TRAIL基准上验证了其有效性。AgentCompass在关键指标上取得了最先进的结果，同时发现了人工标注中遗漏的关键问题，突显了其作为以开发者为中心的强大工具在可靠监控和改进生产环境中Agent系统的作用。

🔬 方法详解

问题定义：论文旨在解决现有Agent评估方法在生产环境中对复杂Agent工作流进行有效监控和调试的不足。现有方法难以捕捉Agent工作流中出现的错误、涌现行为和系统性故障，导致组织面临日益增长的风险。这些痛点包括缺乏对Agent推理过程的深入理解、无法进行持续学习和适应以及缺乏以开发者为中心的调试工具。

核心思路：AgentCompass的核心思路是模拟专家调试器的推理过程，通过结构化的多阶段分析流程来识别、分类和量化Agent工作流中的错误。该框架通过情景记忆和语义记忆的双重记忆系统，实现跨执行的持续学习，从而不断提升评估的准确性和效率。这种设计旨在提供一个可靠、可解释且易于使用的评估工具，帮助开发者更好地理解和改进Agent系统。

技术框架：AgentCompass的技术框架包含以下主要模块： 1. 错误识别和分类：识别Agent工作流执行过程中出现的错误，并将其分类到不同的类别中。 2. 主题聚类：将相关的错误进行聚类，以便更好地理解错误的根本原因。 3. 定量评分：对Agent工作流的性能进行定量评分，以便跟踪改进情况。 4. 战略总结：生成Agent工作流的战略总结，突出显示需要改进的关键领域。 5. 双重记忆系统：包括情景记忆（存储Agent工作流的执行历史）和语义记忆（存储关于Agent工作流的知识），用于持续学习和改进评估过程。

关键创新：AgentCompass的关键创新在于其模拟专家调试器推理过程的多阶段分析流程和双重记忆系统。与现有方法相比，AgentCompass能够更深入地理解Agent工作流的推理过程，并能够进行持续学习和适应。此外，AgentCompass还提供了一个以开发者为中心的调试工具，帮助开发者更好地理解和改进Agent系统。

关键设计：AgentCompass的关键设计包括： 1. 错误分类体系：设计合理的错误分类体系，以便准确地识别和分类Agent工作流中的错误。 2. 主题聚类算法：选择合适的聚类算法，以便将相关的错误进行聚类。 3. 定量评分指标：设计合适的定量评分指标，以便准确地评估Agent工作流的性能。 4. 双重记忆系统的实现：设计高效的情景记忆和语义记忆存储和检索机制。

📊 实验亮点

AgentCompass在TRAIL基准测试中取得了最先进的结果，并在实际部署中发现了人工标注中遗漏的关键问题。这些结果表明AgentCompass能够更准确、更全面地评估Agent工作流的性能，并能够帮助开发者更好地理解和改进Agent系统。具体性能数据未知。

🎯 应用场景

AgentCompass可应用于各种需要自动化复杂、多Agent工作流的领域，如客户服务、金融分析、供应链管理等。它能够帮助组织更可靠地部署和维护Agent系统，降低风险，提高效率，并最终提升业务价值。未来，AgentCompass可以扩展到支持更多类型的Agent系统和更复杂的评估指标，成为Agent系统开发和部署的关键工具。

📄 摘要（原文）

With the growing adoption of Large Language Models (LLMs) in automating complex, multi-agent workflows, organizations face mounting risks from errors, emergent behaviors, and systemic failures that current evaluation methods fail to capture. We present AgentCompass, the first evaluation framework designed specifically for post-deployment monitoring and debugging of agentic workflows. AgentCompass models the reasoning process of expert debuggers through a structured, multi-stage analytical pipeline: error identification and categorization, thematic clustering, quantitative scoring, and strategic summarization. The framework is further enhanced with a dual memory system-episodic and semantic-that enables continual learning across executions. Through collaborations with design partners, we demonstrate the framework's practical utility on real-world deployments, before establishing its efficacy against the publicly available TRAIL benchmark. AgentCompass achieves state-of-the-art results on key metrics, while uncovering critical issues missed in human annotations, underscoring its role as a robust, developer-centric tool for reliable monitoring and improvement of agentic systems in production.