MOAT: Evaluating LMMs for Capability Integration and Instruction Grounding

📄 arXiv: 2503.09348v2 📥 PDF

作者: Zhoutong Ye, Mingze Sun, Huan-ang Gao, Xutong Wang, Xiangyang Wang, Yu Mei, Chang Liu, Qinwei Li, Chengwen Zhang, Qinghuan Lan, Chun Yu, Yuanchun Shi

分类: cs.CL, cs.AI, cs.CV

发布日期: 2025-03-12 (更新: 2025-12-12)

备注: Project page: https://cambrian-yzt.github.io/MOAT

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MOAT基准，评估LMMs在能力集成和指令理解方面的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 视觉语言 能力集成 指令理解 基准测试 模型评估 人工智能 深度学习

📋 核心要点

  1. 现有LMMs在结合多种视觉-语言能力以及理解复杂指令的任务中表现不足，限制了其在实际场景中的应用。
  2. 提出MOAT基准，包含1005个复杂但对人类简单的视觉问题，用于细粒度评估LMMs在9种VL能力上的表现。
  3. 实验评估了17个LMMs，发现即使是表现最佳的模型准确率也仅为44%，揭示了LMMs在能力集成和指令理解方面的巨大差距。

📝 摘要（中文）

大型多模态模型(LMMs)在视觉-语言(VL)任务中展现出巨大的潜力。然而，LMMs在需要结合多种VL能力的任务以及涉及复杂文本或视觉指令理解的任务中表现不佳，这阻碍了它们在实际任务中的应用。为了深入研究这一差距及其根本原因，我们提出了MOAT，这是一个包含1005个复杂真实世界视觉问题的多样化基准，这些问题对人类来说很简单，但对LMMs来说却具有挑战性。具体来说，MOAT中的任务要求LMMs通过整合VL能力（如阅读文本、计数、理解空间关系、理解文本和视觉指令等）来进行通用问题求解。所有这些能力都符合我们提出的包含9种VL能力的分类法，使MOAT能够提供LMMs优势和劣势的细粒度视图。此外，MOAT是第一个明确评估LMMs理解复杂文本和视觉指令能力的基准，这对于许多实际应用至关重要。我们评估了17个专有和开源LMMs，发现性能最佳的LMM (Gemini 2.5 Pro) 的准确率仅为44%，远低于实际应用中可接受的水平。为了指导未来的模型开发，我们分析了结果中的常见趋势，并讨论了性能不佳的根本原因，重点关注以文本为中心的推理的影响、哪些VL能力在复杂任务中形成瓶颈，以及平铺的潜在有害影响。代码和数据可在https://cambrian-yzt.github.io/MOAT/ 获取。

🔬 方法详解

问题定义：现有的大型多模态模型（LMMs）在解决需要整合多种视觉-语言（VL）能力，以及需要理解复杂文本或视觉指令的任务时，表现不佳。这限制了它们在实际应用中的部署。现有方法缺乏一个能够全面、细粒度地评估LMMs在这些复杂任务中表现的基准。

核心思路：MOAT基准的核心思路是创建一个包含多样化、复杂但对人类而言直观的视觉问题集合，这些问题能够系统性地考察LMMs在不同VL能力上的表现。通过分析LMMs在这些问题上的表现，可以深入了解其优势和劣势，从而指导未来的模型开发。

技术框架：MOAT基准包含1005个真实世界的视觉问题，这些问题被设计用来评估LMMs在9种不同的VL能力上的表现，包括阅读文本、计数、理解空间关系、理解文本和视觉指令等。这些问题被组织成一个分类体系，可以对LMMs的能力进行细粒度的评估。基准还包括评估LMMs理解复杂文本和视觉指令的能力。

关键创新：MOAT的关键创新在于其对LMMs能力的细粒度评估和对复杂指令理解的关注。它不仅评估了LMMs在单个VL能力上的表现，还评估了它们整合多种能力解决复杂问题的能力。此外，MOAT是第一个明确评估LMMs理解复杂文本和视觉指令能力的基准，这对于许多实际应用至关重要。

关键设计：MOAT基准中的问题设计考虑了多种因素，包括问题的复杂性、所需VL能力的类型以及问题的真实性。问题涵盖了各种不同的场景和任务，以确保对LMMs的能力进行全面的评估。此外，基准还提供了一套评估指标，用于衡量LMMs在不同VL能力上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是性能最佳的LMM (Gemini 2.5 Pro) 在MOAT基准上的准确率也仅为44%，远低于实际应用的需求。这揭示了LMMs在能力集成和指令理解方面存在显著差距。研究还分析了文本中心推理的影响、VL能力瓶颈以及平铺的潜在有害影响，为未来的模型开发提供了有价值的见解。

🎯 应用场景

MOAT基准的潜在应用领域包括机器人导航、智能助手、自动驾驶等。通过提高LMMs在能力集成和指令理解方面的性能，可以使这些系统更加智能、可靠和安全。该研究的实际价值在于为LMMs的开发和评估提供了一个标准化的平台，并为未来的研究方向提供了指导。未来影响包括推动LMMs在更多实际场景中的应用，并最终实现通用人工智能。

📄 摘要（原文）

Large multimodal models (LMMs) have demonstrated significant potential as generalists in vision-language (VL) tasks. However, adoption of LMMs in real-world tasks is hindered by their poor performance in tasks that require a combination of VL capabilities, as well as in tasks that involve the grounding of complex text or visual instructions. To thoroughly investigate this gap and its underlying causes, we propose MOAT, a diverse benchmark with 1005 complex real-world vision questions that are straightforward for humans but challenging for LMMs. Specifically, the tasks in MOAT require LMMs to engage in generalist problem solving by integrating VL capabilities such as reading text, counting, understanding spatial relations, grounding textual and visual instructions, etc. All these abilities fit into a taxonomy proposed by us that contains 9 VL capabilities, enabling MOAT to provide a fine-grained view of LMMs' strengths and weaknesses. Besides, MOAT is the first benchmark to explicitly evaluate LMMs' ability to ground complex text and visual instructions, which is essential for many real-world applications. We evaluated 17 proprietary and open source LMMs, finding that the best performing LMM (Gemini 2.5 Pro) achieved only 44% accuracy, far below what would be acceptable in real-world applications. To guide future model development, we analyze common trends in our results and discuss the underlying causes of poor performance, focusing on the impact of text-centric reasoning, which VL capabilities form bottlenecks in complex tasks, and the potential harmful effects of tiling. Code and data are available at https://cambrian-yzt.github.io/MOAT/.