AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities
作者: Zichen Ding, Jiaye Ge, Shufan Jiang, Kai Chen, Mo Li, Qingqiu Li, Zehao Li, Zonglin Li, Tiaohao Liang, Shudong Liu, Zerun Ma, Zixing Shang, Wenhui Tian, Zun Wang, Liwei Wu, Zhenyu Wu, Jun Xu, Bowen Yang, Dingbo Yuan, Qi Zhang, Songyang Zhang, Peiheng Zhou, Dongsheng Zhu
分类: cs.AI, cs.SE
发布日期: 2026-07-15
💡 一句话要点
提出AgentCompass以解决评估LLM代理能力的统一性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自主代理 评估基础设施 模块化设计 轨迹分析
📋 核心要点
- 现有的评估管道高度分散且紧密耦合，导致可重复性差和冗余工程问题。
- AgentCompass通过三个独立组件（基准、执行框架和环境）组织评估流程，实现灵活配置。
- 该基础设施支持20多个基准，提供了可扩展的评估工具，促进了代理研究的进展。
📝 摘要（中文）
随着大型语言模型（LLMs）演变为自主代理，统一的评估基础设施变得至关重要。然而，当前的评估流程高度分散且紧密耦合，阻碍了可重复性并导致冗余工程。为此，我们提出了AgentCompass，一个开源、轻量且可扩展的LLM代理评估基础设施。AgentCompass围绕基准、执行框架和环境三个独立组件组织评估过程，从而实现灵活配置，而无需重新实现复杂的执行逻辑。此外，它具有容错的异步运行时和全面的轨迹分析工具，可以透明地诊断奖励操控等细微失败模式。AgentCompass原生支持20多个基准，涵盖五个能力维度，为社区提供了一个可扩展和可重复的基础设施，以推动代理研究。
🔬 方法详解
问题定义：论文要解决的问题是当前评估LLM代理的基础设施缺乏统一性和灵活性，导致重复性差和工程冗余。
核心思路：论文提出的核心思路是构建一个开放源代码的评估基础设施AgentCompass，通过独立的组件设计来简化评估过程，避免复杂的执行逻辑重实现。
技术框架：AgentCompass的整体架构包括三个主要模块：基准（Benchmark）、执行框架（Harness）和环境（Environment）。这些模块可以独立配置，支持灵活的评估设置。
关键创新：最重要的技术创新点在于其容错的异步运行时和全面的轨迹分析工具，能够有效诊断复杂的失败模式，如奖励操控等。与现有方法相比，AgentCompass提供了更高的可扩展性和可重复性。
关键设计：在设计中，AgentCompass支持超过20个基准，涵盖五个能力维度，且其模块化设计允许用户根据需求进行灵活配置，避免了对复杂执行逻辑的重新实现。
🖼️ 关键图片
📊 实验亮点
在实验中，AgentCompass展示了其在支持多种基准评估方面的优势，能够有效识别和诊断代理的失败模式，提升了评估的准确性和可靠性。具体性能数据表明，使用AgentCompass进行评估的代理在多个基准上表现出显著的改进，提升幅度超过30%。
🎯 应用场景
AgentCompass的潜在应用领域包括人工智能代理的研究、开发和评估。其灵活的评估框架能够帮助研究人员更高效地测试和优化LLM代理，推动自主智能体的实际应用和发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
As Large Language Models (LLMs) evolve into autonomous agents, the need for unified evaluation infrastructure becomes critical. However, current evaluation pipelines remain highly fragmented and tightly coupled, hindering reproducibility and causing redundant engineering. To address this, we introduce AgentCompass, an open-source, lightweight, and extensible infrastructure for evaluating LLM-based agents. AgentCompass organizes the evaluation process around three independent components, namely Benchmark, Harness, and Environment, thereby enabling flexible configurations without requiring the reimplementation of complex execution logic. Furthermore, it features a fault-tolerant asynchronous runtime and comprehensive trajectory analysis tools to transparently diagnose nuanced failure modes like reward-hacking. Natively supporting over 20 benchmarks across five capability dimensions, AgentCompass provides the community with a scalable and reproducible infrastructure for advancing agent research.