MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains

📄 arXiv: 2407.18961v3 📥 PDF

作者: Guoli Yin, Haoping Bai, Shuang Ma, Feng Nan, Yanchao Sun, Zhaoyang Xu, Shen Ma, Jiarui Lu, Xiang Kong, Aonan Zhang, Dian Ang Yap, Yizhe zhang, Karsten Ahnert, Vik Kamath, Mathias Berglund, Dominic Walsh, Tobias Gindele, Juergen Wiest, Zhengfeng Lai, Xiaoming Wang, Jiulong Shan, Meng Cao, Ruoming Pang, Zirui Wang

分类: cs.AI

发布日期: 2024-07-18 (更新: 2024-08-15)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MMAU：一个综合性的多领域Agent能力评估基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agent评估 多任务学习 语言模型 基准测试 能力评估

📋 核心要点

  1. 现有Agent基准测试侧重特定场景，缺乏对Agent底层技能的细粒度评估，难以定位失败原因，且环境搭建复杂。
  2. MMAU通过构建包含五个领域和五种核心能力的离线任务，提供了一个全面的Agent能力评估框架，无需复杂环境。
  3. 在MMAU上对18个代表性模型进行评估，揭示了LLM Agent的能力和局限性，并增强了其性能的可解释性。

📝 摘要（中文）

大型语言模型（LLMs）的最新进展对全面评估其作为类人Agent的能力提出了更高的要求。现有的基准测试虽然有用，但通常侧重于特定的应用场景，强调任务完成，而未能剖析驱动这些结果的底层技能。这种缺乏粒度使得难以深入辨别失败的根源。此外，设置这些环境需要大量的精力，并且有时会出现不可靠和可重复性问题，尤其是在交互式任务中。为了解决这些局限性，我们引入了大规模多任务Agent理解（MMAU）基准，该基准具有全面的离线任务，无需复杂的环境设置。它评估模型在五个领域的能力，包括工具使用、有向无环图（DAG）问答、数据科学和机器学习编码、竞赛级编程和数学，并涵盖五个基本能力：理解、推理、规划、问题解决和自我纠正。MMAU包含20个精心设计的任务，涵盖3000多个不同的提示，为评估LLM Agent的优势和局限性提供了一个全面的框架。通过在MMAU上测试18个具有代表性的模型，我们提供了深刻而有见地的分析。最终，MMAU不仅揭示了LLM Agent的能力和局限性，还增强了其性能的可解释性。MMAU的数据集和评估脚本已在https://github.com/apple/axlearn/tree/main/docs/research/mmau上发布。

🔬 方法详解

问题定义：现有Agent评估基准通常关注特定应用场景的任务完成情况，忽略了对Agent底层能力（如理解、推理、规划等）的细致评估。这导致难以诊断Agent失败的根本原因，并且交互式任务的环境搭建复杂，可重复性差。

核心思路：MMAU的核心思路是构建一个大规模、多任务的离线评估基准，涵盖多个领域和多种核心能力。通过精心设计的任务和提示，全面评估Agent在理解、推理、规划、问题解决和自我纠正等方面的能力，从而更深入地了解Agent的优势和局限性。

技术框架：MMAU包含五个领域：工具使用、有向无环图（DAG）问答、数据科学和机器学习编码、竞赛级编程和数学。每个领域都设计了多个任务，每个任务包含多个不同的提示。整体流程是：首先，将Agent的输出结果与预定义的答案进行比较；然后，根据预设的评估指标对Agent的性能进行评估；最后，对评估结果进行分析，从而了解Agent在不同领域和能力上的表现。

关键创新：MMAU的关键创新在于其综合性和细粒度。它不仅涵盖了多个领域，还评估了多种核心能力。此外，MMAU采用离线评估的方式，避免了复杂环境搭建和交互式任务带来的可重复性问题。通过精心设计的任务和提示，MMAU能够更准确地评估Agent的真实能力。

关键设计：MMAU的关键设计包括：1) 任务的多样性，确保能够覆盖Agent的各种能力；2) 提示的精心设计，确保能够激发Agent的潜力；3) 评估指标的合理性，确保能够准确反映Agent的性能；4) 离线评估的方式，确保评估结果的可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MMAU基准测试了18个代表性模型，揭示了它们在不同领域和能力上的表现差异。例如，某些模型在数学领域表现出色，但在工具使用方面存在不足。通过对这些结果的深入分析，研究人员可以更好地了解LLM Agent的优势和局限性，并针对性地改进模型的设计和训练。

🎯 应用场景

MMAU可应用于LLM Agent的开发和评估，帮助研究人员和开发者更好地了解Agent的能力和局限性，从而改进Agent的设计和训练。此外，MMAU还可以用于比较不同Agent的性能，为选择合适的Agent提供依据。未来，MMAU可以扩展到更多的领域和能力，成为一个更加全面和通用的Agent评估基准。

📄 摘要（原文）

Recent advances in large language models (LLMs) have increased the demand for comprehensive benchmarks to evaluate their capabilities as human-like agents. Existing benchmarks, while useful, often focus on specific application scenarios, emphasizing task completion but failing to dissect the underlying skills that drive these outcomes. This lack of granularity makes it difficult to deeply discern where failures stem from. Additionally, setting up these environments requires considerable effort, and issues of unreliability and reproducibility sometimes arise, especially in interactive tasks. To address these limitations, we introduce the Massive Multitask Agent Understanding (MMAU) benchmark, featuring comprehensive offline tasks that eliminate the need for complex environment setups. It evaluates models across five domains, including Tool-use, Directed Acyclic Graph (DAG) QA, Data Science and Machine Learning coding, Contest-level programming and Mathematics, and covers five essential capabilities: Understanding, Reasoning, Planning, Problem-solving, and Self-correction. With a total of 20 meticulously designed tasks encompassing over 3K distinct prompts, MMAU provides a comprehensive framework for evaluating the strengths and limitations of LLM agents. By testing 18 representative models on MMAU, we provide deep and insightful analyses. Ultimately, MMAU not only sheds light on the capabilities and limitations of LLM agents but also enhances the interpretability of their performance. Datasets and evaluation scripts of MMAU are released at https://github.com/apple/axlearn/tree/main/docs/research/mmau.