MageBench: Bridging Large Multimodal Models to Agents
作者: Miaosen Zhang, Qi Dai, Yifan Yang, Jianmin Bao, Dongdong Chen, Kai Qiu, Chong Luo, Xin Geng, Baining Guo
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-12-05
备注: 37 pages, 32 figures, github link: https://github.com/microsoft/MageBench
🔗 代码/项目: GITHUB
💡 一句话要点
MageBench：构建连接大型多模态模型与智能体的桥梁，评估视觉推理能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 视觉推理 基准测试 大型多模态模型 智能体交互
📋 核心要点
- 现有基准测试主要评估LMM在语言方面的推理能力，忽略了视觉信号持续更新的场景，无法满足多模态智能体的需求。
- MageBench通过构建轻量级但具有挑战性的环境，例如WebUI、Sokoban和Football，来评估智能体的视觉推理和交互能力。
- 实验结果表明，现有LMM在基于视觉反馈修改规划、视觉想象力以及处理交错图像-文本长上下文等方面存在严重不足。
📝 摘要（中文）
大型多模态模型（LMMs）展现了令人印象深刻的视觉理解能力，并有潜力应用于智能体，而智能体需要强大的推理和规划能力。然而，现有的基准测试主要评估其在语言部分的推理能力，其中的思维链完全由文本组成。本文考虑了视觉信号持续更新并在决策过程中被要求的场景。这种视觉链式推理范式更符合多模态智能体的需求，但很少被评估。因此，本文提出了MageBench，一个面向推理能力的多模态智能体基准测试，它虽然具有轻量级的环境，但提出了重要的推理挑战，并具有重要的实际价值。该基准目前包括三种类型的环境：WebUI、Sokoban和Football，共包含483个不同的场景。它全面验证了智能体的知识和工程能力、视觉智能和交互技能。结果表明，只有少数产品级模型优于随机行为，并且所有模型都远不如人类水平。更具体地说，我们发现当前的模型严重缺乏基于视觉反馈修改其规划的能力，以及视觉想象力、交错图像-文本长上下文处理和其他能力。我们希望我们的工作将从智能体的角度为LMM提供优化方向。我们发布了我们的代码和数据。
🔬 方法详解
问题定义：现有的大型多模态模型（LMMs）在智能体应用中，尤其是在需要持续视觉输入和反馈的场景下，表现出推理能力不足。现有的基准测试主要集中在语言推理方面，忽略了视觉信息在决策过程中的重要作用。这导致模型难以根据视觉环境的变化动态调整策略，限制了其在实际应用中的潜力。
核心思路：MageBench的核心思路是创建一个能够模拟真实世界交互场景的基准测试，其中视觉信息是决策的关键组成部分。通过设计一系列需要视觉理解、推理和规划的任务，MageBench旨在全面评估LMM在多模态智能体应用中的能力。这种以视觉为中心的评估方式能够更准确地反映模型在实际应用中的性能。
技术框架：MageBench包含三个主要环境：WebUI、Sokoban和Football。WebUI环境模拟网页交互，需要智能体理解网页内容并执行操作。Sokoban是一个经典的推箱子游戏，需要智能体进行空间推理和规划。Football环境模拟足球比赛，需要智能体理解比赛规则并做出决策。每个环境都包含多个不同的场景，以增加测试的多样性。智能体通过观察环境（视觉输入）并采取行动与环境交互，MageBench记录智能体的行为并评估其性能。
关键创新：MageBench的关键创新在于其以视觉为中心的评估方法。与传统的侧重于语言推理的基准测试不同，MageBench强调视觉信息在决策过程中的作用。这使得MageBench能够更准确地评估LMM在多模态智能体应用中的能力，并为未来的研究提供更有效的优化方向。
关键设计：MageBench的设计注重环境的轻量级和任务的挑战性。环境的轻量级使得测试可以在资源有限的条件下进行，而任务的挑战性则能够充分暴露模型的不足。具体来说，WebUI环境中的网页结构和内容设计旨在考验模型的网页理解能力；Sokoban环境中的箱子摆放和目标位置设计旨在考验模型的空间推理能力；Football环境中的比赛规则和对手行为设计旨在考验模型的策略规划能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的产品级LMM在MageBench上的表现远低于人类水平，甚至不如随机行为。具体来说，模型在基于视觉反馈修改规划、视觉想象力以及处理交错图像-文本长上下文等方面存在显著不足。这些发现为LMM的未来优化提供了明确的方向。
🎯 应用场景
MageBench的研究成果可应用于开发更智能、更可靠的多模态智能体，例如自动化网页操作、游戏AI、机器人导航和控制等领域。通过提高LMM在视觉推理和交互方面的能力，可以实现更高效、更自然的智能体应用，从而提升生产效率和用户体验。
📄 摘要（原文）
LMMs have shown impressive visual understanding capabilities, with the potential to be applied in agents, which demand strong reasoning and planning abilities. Nevertheless, existing benchmarks mostly assess their reasoning abilities in language part, where the chain-of-thought is entirely composed of text.We consider the scenario where visual signals are continuously updated and required along the decision making process. Such vision-in-the-chain reasoning paradigm is more aligned with the needs of multimodal agents, while being rarely evaluated. In this paper, we introduce MageBench, a reasoning capability oriented multimodal agent benchmark that, while having light-weight environments, poses significant reasoning challenges and holds substantial practical value. This benchmark currently includes three types of environments: WebUI, Sokoban, and Football, comprising a total of 483 different scenarios. It thoroughly validates the agent's knowledge and engineering capabilities, visual intelligence, and interaction skills. The results show that only a few product-level models are better than random acting, and all of them are far inferior to human-level. More specifically, we found current models severely lack the ability to modify their planning based on visual feedback, as well as visual imagination, interleaved image-text long context handling, and other abilities. We hope that our work will provide optimization directions for LMM from the perspective of being an agent. We release our code and data at https://github.com/microsoft/MageBench.